Làm thế nào để tránh bị cào?

Chúng tôi có Cơ sở dữ liệu có thể tìm kiếm (DB), chúng tôi giới hạn kết quả ở mức 15 trên mỗi trang và chỉ có 100 kết quả vẫn khiến mọi người cố gắng cạo trang web.

Chúng tôi đang cấm các trang web đánh nó đủ nhanh. Tôi đã tự hỏi nếu có bất cứ điều gì khác mà chúng ta có thể làm. Flash kết quả có thể?

Bạn có thể làm cho nó khó khăn hơn một chút bằng cách truy xuất các bản ghi thông qua AJAX và sử dụng ID xác thực (như khóa API) cho các cuộc gọi AJAX.

Tất nhiên bạn có thể khắc phục điều này bằng cách đọc ID và sau đó thực hiện yêu cầu AJAX bằng cách đó.

Kết xuất với Flash là một cách thay thế như bạn chỉ ra (mặc dù vẫn không thể quét được 100%), như hiển thị trong PDF.

Vì rõ ràng là có nhu cầu cho cơ sở dữ liệu của bạn, bạn đã nghĩ đến việc xoay vòng và cung cấp những gì người dọn dẹp muốn chưa? Hình thành một kết nối kinh doanh với người dọn dẹp và khuyến khích sử dụng phù hợp với API?

Có một số thông tin tốt trong Làm thế nào để bạn ngăn chặn các nhà viết kịch bản đóng sầm trang web của bạn hàng trăm lần một giây?

Không có giải pháp công nghệ nào để ngăn chặn một cá nhân có động lực cạo nội dung truy cập công khai của bạn.

Tuy nhiên, bạn có thể bảo vệ hợp pháp tài sản trí tuệ của mình bằng cách:

• Đảm bảo rằng trang web của bạn có bản quyền được đánh dấu rõ ràng
• Đăng một Điều khoản dịch vụ trong phần chân trang rõ ràng nghiêm cấm
• Xem xét việc nhúng một hình mờ kỹ thuật số vào tất cả nội dung của trang web của bạn. Đừng quên rằng văn bản cũng có thể được watermark!

Làm thế nào về việc thiết lập xác thực (và có lẽ là captcha), theo dõi việc sử dụng và giới hạn quyền truy cập vào một số số lượng hồ sơ hoặc tìm kiếm là một khoảng thời gian nhất định?

Bạn có thể sẽ thấy rằng những người dọn dẹp sẽ cải thiện khi họ áp dụng các kỹ thuật khác nhau. Có lẽ có một cách để phân tích hành vi của người dùng cạo và trình bày một hình ảnh xác thực hoặc sự gián đoạn khác? Có lẽ bạn có thể giới hạn kết quả ở một số lượng nhỏ hơn trong một khoảng thời gian để buộc người dọn dẹp phải chờ trong 10 ngày. Nếu họ không đăng nhập ở giữa thì giả sử họ là người ghi chép?

Dù bạn làm gì, hãy đảm bảo trộn lẫn các kỹ thuật của bạn để mang lại tuổi thọ cao hơn một chút.

Bạn cần xem xét rằng những người dọn dẹp có thể không sử dụng các trang web và biểu mẫu của bạn, họ có thể chỉ đang gọi trang web của bạn ở cấp độ http.

Tôi nghĩ rằng giải pháp tốt nhất sẽ là bắt kịp một Catchpa sau khi một địa chỉ IP yêu cầu nhiều hơn một ngưỡng yêu cầu nhất định.

Bạn cần phải RẤT cẩn thận mặc dù để đảm bảo rằng bạn không ảnh hưởng đến khả năng mở rộng của bạn cho người dùng thực sự.

Giới hạn số lượng dữ liệu trên mỗi trang như bạn mô tả trong câu hỏi sẽ chỉ làm tăng số lượng yêu cầu mà khách hàng sẽ thực hiện đối với máy chủ của bạn.