Vì vậy, tôi đã được chỉ định xem xét SEO của chúng tôi (một lĩnh vực tôi có một số, nhưng không có năng lực đáng kinh ngạc), và điều đầu tiên tôi nhận thấy là tệp robot.txt của chúng tôi nói như sau:
# go away
User-agent: *
Disallow: /
Bây giờ, tôi khá thành thạo trong việc đọc máy tính, và theo như tôi có thể nói, điều này nói rằng TẤT CẢ các con nhện không nên nhìn vào BẤT CỨ trong thư mục gốc hoặc bên dưới.
Tôi có đọc chính xác không? Bởi vì điều đó chỉ có vẻ điên rồ.
Câu trả lời:
Có lẽ ai đó không muốn trả tiền cho lưu lượng truy cập nhện?
Bất kể, bạn đang đọc chính xác:
http://www.robotstxt.org/robotstxt.html
Chủ sở hữu trang web sử dụng tệp /robots.txt để cung cấp hướng dẫn về trang web của họ cho robot web; đây được gọi là Giao thức loại trừ robot. Nó hoạt động như thế này: một robot muốn kiểm tra URL của trang web, giả sử http://www.example.com/welcome.html . Trước khi làm như vậy, trước tiên, nó sẽ kiểm tra http://www.example.com/robots.txt và tìm thấy:
User-agent: *
Disallow: /
Điều
"User-agent: *"này có nghĩa là phần này áp dụng cho tất cả các robot. Nó"Disallow: /"nói với robot rằng nó không nên truy cập bất kỳ trang nào trên trang web.
Tôi đã đặt loại robot.txt này khi lần đầu tiên phát triển một trang web vì tôi không muốn nó được Google và những người khác lập chỉ mục trước khi nó sẵn sàng.
Tôi cũng đã quên chỉnh sửa rằng sau khi trang web đã hoạt động. * facepalm *