Trên một máy chủ web bây giờ tôi phải thừa nhận tôi nhận thấy rằng tệp robots.txt trống. Tôi tự hỏi liệu có sự khác biệt giữa robot.txt trống và không có tệp nào không.
Do trình thu thập thông tin hành xử khác nhau trong hai trường hợp này? Vì vậy, có an toàn không khi xóa một robot.txt trống?
Câu trả lời:
Do trình thu thập thông tin hành xử khác nhau trong hai trường hợp này?
Một robots.txt tập tin đó là sản phẩm nào thực sự là không có khác nhau từ một trong đó là không tìm thấy, cả hai không bò disallow.
Tuy nhiên, bạn có thể nhận được rất nhiều 404lỗi trong nhật ký máy chủ của mình khi trình thu thập thông tin yêu cầu tệp robot.txt , như được nêu trong câu hỏi này tại đây .
Vì vậy, có an toàn không khi xóa một robot.txt trống?
Vâng, với sự cảnh báo ở trên.