Câu hỏi được gắn thẻ «web-crawler»

Tôi đã phát hiện ra rằng McAfee SiteIDIA đã báo cáo trang web của tôi là "có thể có vấn đề về bảo mật" . Tôi quan tâm rất ít về bất cứ điều gì McAfee nghĩ về trang web của tôi (tôi có thể tự bảo mật nó và …

30 web-crawler 

Làm thế nào để các trang web lớn (ví dụ Wikipedia) đối phó với các bot đứng sau mặt nạ IP khác? Chẳng hạn, ở trường đại học của tôi, mọi người đều tìm kiếm Wikipedia, mang lại cho nó một tải trọng đáng kể. Nhưng, theo như tôi biết, …

12 web-crawler 

Tôi đang gặp vấn đề với một cá nhân nào đó đang tiếp tục truy quét trang web của tôi một cách hung hăng; lãng phí băng thông và tài nguyên CPU. Tôi đã triển khai một hệ thống theo dõi nhật ký truy cập máy chủ web của tôi, …

10 ip  isp  whois  web-crawler  ip-blocking 

Tôi đã cài đặt Apache cách đây một thời gian và xem nhanh access.log của tôi cho thấy rằng tất cả các loại IP không xác định đang kết nối, chủ yếu là với mã trạng thái 403, 404, 400, 408. Tôi không biết họ đang tìm kiếm như thế …

8 apache-2.2  web-crawler