Ngăn chặn sơ đồ trang web XML hiển thị trong kết quả tìm kiếm của Google

Làm cách nào để ngăn các tệp sơ đồ trang web XML của tôi hiển thị trong kết quả tìm kiếm của Google như kết quả của site:truy vấn tìm kiếm này:

Tôi không hiểu tại sao Google lại chọn hiển thị tệp sơ đồ trang web trong kết quả tìm kiếm để bắt đầu. Những tập tin này không dành cho con người.

Google cần có khả năng thu thập dữ liệu để có thể xử lý nó, vì vậy tôi không thể không cho phép nó trong tệp robots.txt . Tôi chỉ không muốn họ đưa nó vào kết quả tìm kiếm sau khi xử lý nó.

Google lập chỉ mục sơ đồ trang web XML (giống như bất kỳ tệp XML nào). Nếu Google biết về một URL và nó trả về một phản hồi hợp lệ thì nó sẽ vượt qua các quy tắc bao gồm của Google và có thể được lập chỉ mục. Cá nhân, tôi chỉ gửi sơ đồ trang web thông qua GWT và bao gồm một Sitemap:tham chiếu trong tệp robots.txt và điều này chắc chắn là đủ để lập chỉ mục.

Phương pháp được đề xuất để ngăn các tệp này được Google lập chỉ mục là bao gồm X-Robots-Tagtiêu đề phản hồi HTTP khi phục vụ sơ đồ trang web XML. Ví dụ:

X-Robots-Tag: noindex

Giống như bao gồm thẻ META của robot trong các tệp HTML, X-Robots-Tagtiêu đề có thể được sử dụng cho bất kỳ loại tệp nào.

Tham khảo: Tài liệu này (từ tháng 11 năm 2008!) Dường như trích dẫn John Mueller (Google) của chúng tôi liên quan đến việc sử dụng X-Robots-Tagphản hồi khi xử lý sơ đồ trang web XML.
Có, Google sẽ lập chỉ mục và xếp hạng tệp sơ đồ trang web XML của bạn

Để biết thêm thông tin, hãy xem hướng dẫn dành cho nhà phát triển của Google: Thông
số kỹ thuật tiêu đề HTTP của thẻ Rô bốt và thẻ X-Robots-Tag

Câu trả lời của MrWhite về việc sử dụng X-Robots-Tag dường như là cách chính xác để làm điều này.

Đây là mã có thể được sử dụng trong các tệp cấu hình .htaccess hoặc Apache để làm như vậy. (Tham khảo: WebmasterWorld - Sơ đồ trang web hiển thị trong SERP - Làm cách nào để ngăn chặn điều này? )

<Files ~ "sitemap.*\.xml(\.gz)?$">
  Header append X-Robots-Tag "noindex"
</Files>

Theo nginx , cấu hình sẽ như sau. (Tham khảo: Ví dụ về Yo-X-Robots-Tag )

location ~* sitemap.*\.xml(\.gz)?$ {
    add_header X-Robots-Tag "noindex";
}

Tại sao nó quan trọng?

Nếu bạn thực sự có thể tìm thấy sơ đồ trang web của mình trong SERP thì bạn có vấn đề lớn hơn.

Thay vào đó, tôi sẽ tập trung hơn vào việc đưa các trang lên với nội dung hữu ích. Bằng cách đó, bạn sẽ có một thời gian rất khó khăn thậm chí tìm thấy bạn sơ đồ trang web. Không phải là bạn sẽ quan tâm tại thời điểm đó.

PS

Khá nhiều người giữ sơ đồ trang web ở cùng một nơi. Vì vậy, nếu ai đó muốn tìm nơi bạn giữ nó, họ sẽ :)

đặt phần sau vào tệp robots.txt

User-agent: *
Disallow: /sitemap.xml

thay vì gửi sơ đồ trang web của bạn thông qua các công cụ quản trị trang web google.