Tấn công 404 lớn với các URL không tồn tại. Làm thế nào để ngăn chặn điều này?

Vấn đề là toàn bộ lỗi 404, được báo cáo bởi Google Webmaster Tools, với các trang và truy vấn chưa từng có. Một trong số đó là viewtopic.php, và tôi cũng nhận thấy một số nỗ lực đáng sợ để kiểm tra xem trang web đó có phải là trang web WordPress ( wp_admin) và để đăng nhập cPanel hay không. Tôi đã chặn TRACE rồi và máy chủ được trang bị một số biện pháp chống quét / hack. Tuy nhiên, điều này dường như không dừng lại. Người giới thiệu là, theo Google Webmaster , totally.me.

Tôi đã tìm kiếm một giải pháp để ngăn chặn điều này, bởi vì nó chắc chắn không tốt cho người dùng thực tế nghèo, chứ đừng nói đến những lo ngại về SEO.

Tôi đang sử dụng danh sách đen Perishable Press ( tìm thấy ở đây ), trình chặn giới thiệu tiêu chuẩn (cho các trang web khiêu dâm, thảo dược, sòng bạc) và thậm chí một số phần mềm để bảo vệ trang web (chặn XSS, SQL SQL, v.v.). Máy chủ cũng đang sử dụng các biện pháp khác, vì vậy người ta sẽ cho rằng trang web này an toàn (hy vọng), nhưng nó không kết thúc.

Có ai khác có cùng một vấn đề, hoặc tôi là người duy nhất nhìn thấy điều này? Đó có phải là những gì tôi nghĩ, tức là, một số loại tấn công? Có cách nào để khắc phục nó, hoặc tốt hơn, ngăn chặn sự lãng phí tài nguyên vô dụng này?

EDIT Tôi chưa bao giờ sử dụng câu hỏi để cảm ơn câu trả lời, và hy vọng điều này có thể được thực hiện. Cảm ơn tất cả các bạn đã trả lời sâu sắc, giúp tôi tìm ra cách này. Tôi đã làm theo đề xuất của mọi người và thực hiện như sau:

• một lọ mật ong
• một tập lệnh lắng nghe các url nghi ngờ trong trang 404 và gửi cho tôi một email với tác nhân người dùng / ip, trong khi trả về một tiêu đề 404 tiêu chuẩn
• một tập lệnh thưởng cho người dùng hợp pháp, trong cùng một trang tùy chỉnh 404, trong trường hợp cuối cùng họ nhấp vào một trong những url đó. Trong vòng chưa đầy 24 giờ, tôi đã có thể cách ly một số IP nghi ngờ, tất cả được liệt kê trong Spamhaus. Tất cả các IP được đăng nhập cho đến nay thuộc về các công ty lưu trữ VPS spam.

Cảm ơn tất cả các bạn một lần nữa, tôi đã chấp nhận tất cả các câu trả lời nếu tôi có thể.

Tôi thường thấy một trang web khác liên kết đến hàng tấn trang trên trang web của tôi không tồn tại. Ngay cả khi bạn đang nhấp vào trang đó và không thấy liên kết:

• Các trang web trước đây có thể đã có những liên kết
• Trang web có thể được che giấu và chỉ phục vụ các liên kết đó cho Googlebot chứ không phải cho khách truy cập

Đó là một sự lãng phí tài nguyên, nhưng nó sẽ không gây nhầm lẫn cho Google và nó sẽ không làm tổn thương thứ hạng của bạn. Dưới đây là những gì John Mueller của Google (người làm việc trên Công cụ quản trị trang web và Sơ đồ trang web) nói về lỗi 404 xuất hiện trong công cụ Quản trị trang web :

CỨU GIÚP! TRANG WEB CỦA TÔI ĐÃ CÓ 939 LAWI CRAWL !! 1

Tôi thấy loại câu hỏi này vài lần một tuần; bạn không đơn độc - nhiều trang web có lỗi thu thập dữ liệu.

1. Lỗi 404 trên các URL không hợp lệ không gây hại cho việc lập chỉ mục hoặc xếp hạng trang web của bạn dưới bất kỳ hình thức nào. Không có vấn đề gì nếu có 100 hoặc 10 triệu, chúng sẽ không gây hại cho thứ hạng trang web của bạn. http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. Trong một số trường hợp, lỗi thu thập dữ liệu có thể đến từ một vấn đề cấu trúc hợp pháp trong trang web hoặc CMS của bạn. Làm thế nào bạn nói? Kiểm tra kỹ nguồn gốc của lỗi thu thập dữ liệu. Nếu có một liên kết bị hỏng trên trang web của bạn, trong HTML tĩnh của trang của bạn, thì đó luôn là giá trị sửa chữa. (cảm ơn + Martino Mosna )
3. Thế còn các URL thú vị bị phá vỡ rõ ràng thì sao? Khi các thuật toán của chúng tôi thích trang web của bạn, họ có thể cố gắng tìm nội dung hay hơn trên đó, ví dụ như bằng cách cố gắng khám phá các URL mới trong JavaScript. Nếu chúng tôi thử những URL URL đó và tìm thấy 404, điều đó thật tuyệt vời và được mong đợi. Chúng tôi chỉ không muốn bỏ lỡ bất cứ điều gì quan trọng (chèn meme Googlebot được đính kèm quá mức ở đây). http://support.google.com/webmasters/ Phần mềm 1154698
4. Bạn không cần sửa lỗi thu thập dữ liệu trong Công cụ quản trị trang web. Dấu hiệu của tính năng là một tính năng cố định trên mạng chỉ để giúp bạn, nếu bạn muốn theo dõi tiến trình của mình ở đó; nó không thay đổi bất cứ điều gì trong đường dẫn tìm kiếm trên web của chúng tôi, vì vậy hãy bỏ qua nếu bạn không cần nó. http://support.google.com/webmasters/ Phần mềm2467403
5. Chúng tôi liệt kê các lỗi thu thập dữ liệu trong Công cụ quản trị trang web theo mức độ ưu tiên, dựa trên một số yếu tố. Nếu trang đầu tiên của lỗi thu thập thông tin rõ ràng không liên quan, có lẽ bạn sẽ không tìm thấy lỗi thu thập dữ liệu quan trọng trên các trang tiếp theo. http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. Không cần phải sửa lỗi thu thập dữ liệu trên trang web của bạn. Việc tìm kiếm 404 là bình thường và được mong đợi về một trang web được cấu hình tốt. Nếu bạn có một URL mới tương đương, thì chuyển hướng đến đó là một cách tốt. Mặt khác, bạn không nên tạo nội dung giả mạo, bạn không nên chuyển hướng đến trang chủ của mình, bạn không nên robot.txt không cho phép các URL đó - tất cả những điều này khiến chúng tôi khó nhận ra cấu trúc trang web của bạn và xử lý đúng cách. Chúng tôi gọi những lỗi 404 mềm 404 này. http://support.google.com/webmasters/ Phần mềm181708
7. Rõ ràng - nếu các lỗi thu thập dữ liệu này hiển thị cho các URL mà bạn quan tâm, có lẽ các URL trong tệp Sơ đồ trang web của bạn, thì đó là điều bạn nên hành động ngay lập tức. Nếu Googlebot không thể thu thập dữ liệu các URL quan trọng của bạn, thì chúng có thể bị loại khỏi kết quả tìm kiếm của chúng tôi và người dùng cũng không thể truy cập chúng.

Có hàng tấn tập lệnh ngoài đó quét một cách lạc quan các địa chỉ IP ngẫu nhiên trên internet để tìm lỗ hổng được biết đến trong các loại phần mềm. 99,99% thời gian, họ không tìm thấy gì (như trên trang web của bạn) và rằng 0,01% thời gian, tập lệnh sẽ pwn máy và làm bất cứ điều gì bộ điều khiển tập lệnh muốn. Thông thường, các tập lệnh này được điều hành bởi các botnet ẩn danh từ các máy trước đây là pwnd, không phải từ máy thực tế của tập lệnh gốc kiddie.

Những gì bạn nên làm?

1. Hãy chắc chắn rằng trang web của bạn không dễ bị tổn thương. Điều này đòi hỏi sự cảnh giác liên tục.
2. Nếu điều này tạo ra quá nhiều tải mà hiệu suất trang web bình thường bị ảnh hưởng, hãy thêm quy tắc chặn dựa trên IP để tránh chấp nhận kết nối từ trang web cụ thể.
3. Tìm hiểu để lọc ra các bản quét cho CMD.EXE hoặc cPanel hoặc phpMyAdmin hoặc hàng tấn lỗ hổng khác khi xem qua nhật ký máy chủ của bạn.

Bạn dường như tin rằng bất kỳ 404 nào được trả lại từ máy chủ của bạn cho bất kỳ ai sẽ ảnh hưởng đến những gì Google nghĩ về trang web của bạn. Đây không phải là sự thật. Chỉ 404 được trả về bởi trình thu thập dữ liệu của Google và có lẽ người dùng Chrome sẽ ảnh hưởng đến trang web của bạn. Miễn là tất cả các liên kết trên trang web của bạn là các liên kết phù hợp và bạn không làm mất hiệu lực các liên kết bạn đã tiếp xúc với thế giới trước đó, bạn sẽ không thấy bất kỳ tác động nào. Các bot script không nói chuyện với Google theo bất kỳ cách nào.

Nếu bạn đang bị tấn công một cách thực sự, bạn sẽ cần phải đăng ký một số loại dịch vụ cung cấp giảm thiểu DoS. Verisign, Neustar, CloudFlare và Prolexic đều là những nhà cung cấp có nhiều loại kế hoạch cho các loại tấn công khác nhau - từ ủy quyền web đơn giản (thậm chí có thể miễn phí từ một số nhà cung cấp) đến DNS dựa trên lọc theo yêu cầu, đến BGP đầy đủ sự thay đổi điểm hiện diện dựa trên việc gửi tất cả lưu lượng truy cập của bạn thông qua các trung tâm dữ liệu "cọ sát" với các quy tắc giảm thiểu các cuộc tấn công.

Nhưng, có vẻ như những gì bạn đang nói, rằng bạn chỉ đang xem các tập lệnh dễ bị tổn thương thông thường mà bất kỳ IP nào trên Internet sẽ thấy nếu nó nghe trên cổng 80. Bạn có thể đặt một máy mới, khởi động một Apache trống rỗng, và trong vài giờ, bạn sẽ bắt đầu thấy những dòng đó trong nhật ký truy cập.

Đây có lẽ không thực sự là một cuộc tấn công mà là quét hoặc thăm dò.

Tùy thuộc vào máy quét / prober, nó có thể là lành tính, có nghĩa là nó chỉ tìm kiếm các vấn đề trong một số loại năng lực nghiên cứu hoặc nó có thể có chức năng tự động tấn công nếu tìm thấy một lỗ mở.

Các trình duyệt web đưa thông tin người giới thiệu hợp lệ nhưng các chương trình khác chỉ có thể tạo nên bất kỳ người giới thiệu nào họ thích.

Người giới thiệu chỉ đơn giản là một phần thông tin được cung cấp tùy chọn bởi các chương trình truy cập trang web của bạn. Nó có thể là bất cứ điều gì họ chọn để đặt nó như totally.mehoặc random.yu. Nó thậm chí có thể là một trang web thực sự mà họ vừa chọn.

Bạn thực sự không thể sửa nó hoặc ngăn chặn nó. Nếu bạn đã cố gắng chặn mọi yêu cầu thuộc loại này, cuối cùng bạn sẽ phải duy trì một danh sách rất lớn và nó không có giá trị.

Miễn là máy chủ của bạn theo kịp các bản vá và ngăn ngừa các lỗ hổng, điều này sẽ không gây ra cho bạn bất kỳ vấn đề thực tế nào.

Quả thực nghe có vẻ như bot điên cuồng. Chúng tôi cũng đã bị tấn công bởi hàng ngàn IP trên nhiều máy chủ, rất có thể không biết đến trang OP. Trước khi tôi đưa ra một số giải pháp hữu ích, một câu hỏi trở lại mà tôi có là:

H: Bạn thấy toàn bộ 404 từ trang web của mình như thế nào trong các công cụ quản trị trang web của Google? GWT là đầu ra của kết quả Googlebots, không phải đầu ra của các bot khác. Ngoài ra, các bot khác không chạy JS để phân tích ... bạn có một số API loại nào đó sẽ đến GWT nơi bạn có thể xem số liệu thống kê máy chủ của mình không? Nếu không, nó có thể là nguyên nhân gây ra báo động vì đây là lỗi của googlebot.

• Nếu đây là lỗi CHỈ googlebot, điều này có thể cho thấy ai đó đã liên kết đến trang web của bạn trên các diễn đàn và những thứ cho mục tiêu của các bot máy tính thực sự độc hại tấn công nó. Hãy suy nghĩ harverstor + planter chạy trên một số máy chủ khai thác, thiết lập một tấn mục tiêu cho các "hợp đồng spam" trong tương lai để chuyển qua cổng.

• Nếu bạn thực sự biết rằng nó báo cáo số liệu thống kê máy chủ đầy đủ của bạn, thì bạn cần một số công cụ. Một vài ứng dụng và dịch vụ có thể giúp bạn cắt giảm. Giả sử bạn đang chạy một máy chủ linux:

1) Bắt đầu thêm IP vi phạm vào danh sách đen htaccess. Có vẻ như "từ chối 192.168.1.1" và 403 sẽ cấm họ. Đừng mang đi chỉ cần chặn các biggens. Kiểm tra chúng dựa trên các trang web trong bước 4) để đảm bảo rằng chúng không có ISP ISP thực sự. Bạn có thể sao chép tệp này và dán nó vào bất kỳ tài khoản / ứng dụng nào ngoài tường lửa.

2) Cài đặt APF. Thật dễ dàng để quản lý tường lửa thông qua SSH trong linux. Khi bạn xây dựng ht, hãy thêm chúng vào APF như vậy "apf -d 192.168.1.1". Ht có vẻ dư thừa vì APF, nhưng Ht là di động.

3) Cài đặt cPanel Hulk và đảm bảo lập danh sách trắng IP của bạn để nó không bao giờ khóa bạn nếu bạn quên thẻ. Đây cũng sẽ là một nguồn IP tuyệt vời để thêm vào ht + apf. Nó có một số thông minh để nó có thể giảm thiểu một cách thông minh các nỗ lực đăng nhập vũ phu.

4) Kết nối với stopforumspam.com và projecthoneypot.org và chạy các mô-đun của họ. Cả hai đều giúp từ chối rất nhiều để từ chối các yêu cầu đã biết và xác định + báo cáo các brutes / Nets / chinaspam mới. Có những bộ lọc email bạn cũng có thể sử dụng, nhưng gmail đang sở hữu nó khi nói đến bộ lọc thư rác.

5) Vì các bot không bao giờ cho phép, bảo vệ đường dẫn quản trị viên của bạn. Nếu bạn chạy wordpress, thay đổi đường dẫn quản trị viên, thêm captcha, v.v ... Nếu bạn sử dụng SSH, hãy thay đổi cổng đăng nhập thành thứ gì đó không được sử dụng, sau đó tắt đăng nhập root SSH. Tạo một "radmin" bạn phải đăng nhập trước, sau đó su cho root.

• Một lưu ý về captcha, nếu bạn chạy captcha của riêng bạn trên một trang web có khối lượng lớn và không từ chối bot điên cuồng ở cấp độ tường lửa / ht, chúng có thể cản trở chu kỳ cpu của bạn do tạo hình ảnh trong tất cả các widget "chống thư rác".

• Một lưu ý về tải, nếu bạn chạy CentOS trên máy chủ của mình và có khả năng VPS, CloudLinux rất tuyệt vời để làm cứng và kiểm soát tải. Giả sử một bot vượt qua, CageFS có mặt để giới hạn nó vào một tài khoản. Giả sử họ quyết định DDoS .... LVE ở đó để giữ cho tài khoản (trang web) được giới hạn để không làm sập máy chủ của bạn. Đây là một bổ sung tốt để làm nổi bật toàn bộ hệ thống "quản lý thực thể sai lầm" :)

Chỉ cần một vài suy nghĩ, tôi hy vọng điều đó sẽ giúp bạn hiểu

Giải thích vấn đề

Trước hết bạn không phải là người duy nhất gặp vấn đề này - mọi người đều vậy. Những gì bạn đã thấy là kết quả của các bot tự động thu thập mọi IP và tìm kiếm các lỗ hổng phổ biến. Vì vậy, về cơ bản họ cố gắng tìm những thứ bạn đang sử dụng và nếu bạn sử dụng phpmyadmin thì sau này họ sẽ cố gắng thực hiện một loạt các kết hợp mật khẩu tên người dùng chuẩn.

Tôi ngạc nhiên rằng loại điều bạn vừa tìm thấy (có thể bạn vừa mới khởi động máy chủ của mình). Vấn đề là bạn không thể chặn địa chỉ IP của họ mãi mãi (rất có thể đây là máy tính bị nhiễm và người dùng thực tế của anh ta không biết nó đang làm gì, cũng có rất nhiều IP như vậy).

Hiệu ứng SEO

Nó không có tác dụng gì cả. Điều đó chỉ có nghĩa là ai đó đã cố truy cập một cái gì đó trên máy tính của bạn và nó không có ở đó

Nó thực sự quan trọng?

Chắc chắn, những người này cố gắng thăm dò bạn cho một số vấn đề. Hơn nữa, họ đang lãng phí tài nguyên của bạn (máy chủ của bạn cần phải phản ứng theo một cách nào đó) và làm hỏng tệp nhật ký của bạn

Tôi nên sửa nó như thế nào

Tôi đã có cùng một vấn đề mà tôi đã cố gắng khắc phục và công cụ tốt nhất (đơn giản để sử dụng so với những gì tôi có thể làm với nó) Tôi có thể tìm thấy là fail2ban

Bạn cũng đủ may mắn vì tôi đã tìm ra cách khắc phục vấn đề tương tự và thậm chí đã ghi lại nó ở đây (vì vậy bạn không cần phải tìm cách cài đặt nó và làm thế nào để nó hoạt động). Kiểm tra câu hỏi của tôi trên ServerFault . Nhưng xin vui lòng đọc một chút về fail2ban để biết ho đang hoạt động.

Giống như nhiều người đã nói, đây không phải là một cuộc tấn công mà là một nỗ lực thăm dò hoặc quét ứng dụng trang web của bạn và / hoặc khả năng máy chủ của bạn. Cách tốt nhất để lọc tất cả lưu lượng truy cập vô dụng và quét nguy hiểm tiềm tàng này là triển khai WAF (Tường lửa ứng dụng web). Điều này sẽ nắm bắt tất cả các nỗ lực khác nhau và gắn cờ chúng và chỉ sau đó gửi lưu lượng truy cập sạch hợp pháp thực sự đến máy chủ và ứng dụng web của bạn.

Bạn có thể sử dụng DNS WAF dựa trên đám mây hoặc các thiết bị chuyên dụng. Cá nhân tôi sử dụng Incapsula và F5 ASM cho các trang web khách hàng khác nhau. Chi phí thấp tới 500 đô la một tháng và giúp ích rất nhiều. Nó cũng bảo vệ tốt hơn cho khách hàng của bạn và giảm bớt tài nguyên trên các máy chủ web, điều này sẽ giúp bạn tiết kiệm tiền và tăng tốc độ, cộng với các thiết bị này cung cấp các báo cáo và đánh giá tuân thủ PCI 6.6.

Hi vọng điêu nay co ich.