2
Có sự khác biệt nào giữa robot.txt trống và không có robot.txt nào không?
Trên một máy chủ web bây giờ tôi phải thừa nhận tôi nhận thấy rằng tệp robots.txt trống. Tôi tự hỏi liệu có sự khác biệt giữa robot.txt trống và không có tệp nào không. Do trình thu thập thông tin hành xử khác nhau trong hai trường hợp này? …