Câu hỏi được gắn thẻ «scraping»

Tôi có một danh sách các trang web mà tôi cần phải cạo, phân tích và sau đó lưu trữ dữ liệu kết quả trong cơ sở dữ liệu. Tổng cộng là khoảng 5.000.000. Giả định hiện tại của tôi về cách tốt nhất để tiếp cận điều này là …

8 amazon-ec2  scraping 

Chúng tôi có Cơ sở dữ liệu có thể tìm kiếm (DB), chúng tôi giới hạn kết quả ở mức 15 trên mỗi trang và chỉ có 100 kết quả vẫn khiến mọi người cố gắng cạo trang web. Chúng tôi đang cấm các trang web đánh nó đủ nhanh. …

8 database  scraping