Câu hỏi được gắn thẻ «internet-archive»

Có bất kỳ cơ chế nào để kiểm soát những gì Lưu trữ Internet trên một trang web không? Tôi biết không cho phép tất cả các trang tôi có thể thêm : User-agent: ia_archiver Disallow: / Tôi có thể nói với bot rằng tôi muốn họ thu thập dữ …

13 cache  internet-archive 

Tôi có một trang web mà tôi hầu như không muốn được lập chỉ mục bởi các công cụ tìm kiếm, nhưng tôi muốn giữ nó vĩnh viễn trên archive.org. Vì vậy, tôi robots.txtbắt đầu với điều này: User-agent: * Disallow: / Hôm nay, theo archive.org tôi phải thêm vào …

10 web-crawlers  robots.txt  internet-archive