Tôi không thích điều đó Tôi thấy rất nhiều lỗi 404 trong access.log của máy chủ web của tôi. Tôi đang gặp phải những lỗi đó vì trình thu thập thông tin cố gắng mở tệp robot.txt , nhưng không thể tìm thấy. Vì vậy, tôi muốn đặt một tệp robot.txt đơn giản sẽ ngăn các lỗi 404 xuất hiện trong tệp nhật ký của tôi.
Tệp robot.txt hợp lệ tối thiểu là gì sẽ cho phép mọi thứ trên trang web được thu thập thông tin?
Câu trả lời:
Như được chỉ ra ở đây , hãy tạo một tệp văn bản có tên robot.txt trong thư mục cấp cao nhất của máy chủ web của bạn. Bạn có thể để trống hoặc thêm:
User-agent: *
Disallow:
Nếu bạn muốn robot bò mọi thứ . Nếu không, sau đó xem liên kết ở trên để biết thêm ví dụ.
Tối thiểu tốt nhất robots.txtlà một tập tin hoàn toàn trống rỗng.
Bất kỳ chỉ thị "null" nào khác như trống rỗng Disallowhoặc Allow: *không chỉ vô dụng vì chúng là không có, mà thêm vào sự phức tạp không cần thiết.
Nếu bạn không muốn tệp hoàn toàn trống - hoặc bạn muốn làm cho nó dễ đọc hơn - chỉ cần thêm một nhận xét bắt đầu bằng #ký tự, chẳng hạn như # blank file allows all. Trình thu thập thông tin bỏ qua các dòng bắt đầu bằng #.
Tôi sẽ nói điều này;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Nó sẽ cho phép Google thu thập dữ liệu mọi thứ nhưng sẽ không cho phép Google thu thập dữ liệu bảng điều khiển aadminn của bạn. Đó là một tình huống lý tưởng cho bạn.