Làm thế nào để No Noexex: xông trong robot.txt hoạt động như thế nào?

Tôi đã chạy qua bài viết này trong tin tức SEO của tôi ngày hôm nay. Dường như điều đó ngụ ý rằng bạn có thể sử dụng các Noindex:chỉ thị bên cạnh các Disallow:chỉ thị tiêu chuẩn trong tệp robots.txt .

Disallow: /page-one.html
Noindex: /page-two.html

Có vẻ như nó sẽ ngăn các công cụ tìm kiếm thu thập dữ liệu trang một và ngăn chúng lập chỉ mục trang hai.

Là chỉ thị robot.txt này được Google và các công cụ tìm kiếm khác hỗ trợ? Nó có hoạt động không? Nó được ghi nhận?

— Stephen Ostermiller
nguồn

Tôi không biết ... điều này có thể rất hữu ích cho một số người. Đồng thời, tôi muốn thấy sơ đồ trang web được mở rộng để giao tiếp nhiều hơn. Giữa robot và sơ đồ trang web, đây sẽ là cơ hội vàng để liên lạc lại với các công cụ tìm kiếm và những người khác về một trang web. Tôi cũng ủng hộ cơ hội dựa trên văn bản để thông báo cho các công cụ tìm kiếm về trang web theo một cách khác tách biệt với việc có sẵn trong tìm kiếm như trang về như thể bạn có cơ hội nói chuyện trực tiếp với người đánh giá trang web của Google. Nó có thể cứu một số nỗi đau và hiểu lầm. Một cơ hội để nói Ooopppsss, tôi ngớ ngẩn- Xin lỗi.

— Closnoc

Tôi có ấn tượng disallowngăn Google phát hiện ra các liên kết trên trang mẹ và trang con nếu có. Mặc dù noindexchỉ đơn giản là dừng trang được liệt kê, nhưng nó không dừng phát hiện trong khi không cho phép.

— Simon Hayter

@SimonHayter Tôi biết đó là cách nofollowhoạt động của thẻ meta. Sẽ thật tuyệt nếu biết đó cũng là trường hợp của robot.txt .

— Stephen Ostermiller

Xin chào @StephenOstermiller không chỉ các thẻ meta, nó cũng tương tự <a rel="no-follow">. Tôi thấy không có lý do tại sao nó sẽ được đối xử khác nhau. Rõ ràng đây không phải là chính thức và John Muller thậm chí còn khuyến nghị không sử dụng nó trong tệp robots.txt nhưng ngoài tweet của anh ấy, tôi không thể tìm thấy nhiều thông tin về nó.

— Simon Hayter

Điều đáng chú ý là Google không còn gắn cờ Noindexchỉ thị trong robots.txtcác tệp là lỗi.

— Aran

Google đã từng hỗ trợ không chính thức một lệnh Noindextrong robot.txt, tuy nhiên vào năm 2019, họ đã thông báo rằng lệnh này sẽ không còn hoạt động.

Đây là những gì của Google John Mueller nói về Noindex:trong robots.txt :

Chúng tôi đã từng hỗ trợ chỉ thị không có chỉ mục trong robot.txt như một tính năng thử nghiệm. Nhưng đó là thứ mà tôi sẽ không dựa vào. Và tôi không nghĩ rằng các công cụ tìm kiếm khác đang sử dụng điều đó.

Trước khi Google thông báo tính năng này đã bị ngừng, deepcrawl.com đã thực hiện một số thử nghiệm tính năng này và phát hiện ra rằng:

Trước năm 2019, nó vẫn hoạt động với Google
Nó ngăn URL xuất hiện trong chỉ mục tìm kiếm
Các URL chưa được tìm thấy trong tệp robots.txt đã được đánh dấu như vậy trong Google Search Console

Cho rằng Google đã ngừng tính năng này, nó không nên được sử dụng nữa.

Thay vào đó, hãy sử dụng thẻ meta robot được hỗ trợ và ghi lại tốt để ngăn chặn việc lập chỉ mục:

<meta name="robots" content="noindex" />

— Stephen Ostermiller
nguồn