Thẻ X-Robots-Tag: noindex 'trên phản hồi HTTP 301

Tôi hiểu rằng một tài nguyên với X-Robots-Tag: noindexmột số công cụ tìm kiếm, bao gồm cả Google, không được lập chỉ mục tài nguyên đó thêm nữa. Tôi cũng hiểu rằng phản hồi HTTP 301 khiến các công cụ tìm kiếm sử dụng URL được chuyển hướng thay vì URL ban đầu để tham chiếu đến tài nguyên.

Nhưng điều gì xảy ra nếu cả hai X-Robots-Tag: noindexvà mã trạng thái 301 xảy ra trên cùng một phản hồi? Có khả năng URL ban đầu sẽ không còn được lập chỉ mục, nhưng điều đó có khiến URL được chuyển hướng không còn được lập chỉ mục nữa không? Khả năng này không được đề cập trong đặc tả X-Robots-Tag .

Không nên có bất kỳ hiệu ứng nào để có X-Robots-Tag: noindextiêu đề trên URL chuyển hướng 301.

• Công cụ tìm kiếm không lập chỉ mục 301 URL chuyển hướng nào. Vì vậy, thẻ đó chỉ nói với họ những gì họ đã biết.
• Nó không làm cho mục tiêu của chuyển hướng không được lập chỉ mục. Nếu đúng như vậy, điều đó có thể cho phép kẻ tấn công chuyển hướng đến đối thủ cạnh tranh với tiêu đề đó và khiến đối thủ không được lập chỉ mục.

Một trang web có thể trả về mã phản hồi tiêu đề 301, chỉ đơn giản là yêu cầu bot không chú ý đến bất cứ điều gì khác trên trang này mà hãy nhìn vào đường dẫn chuyển hướng và chuyển lưu lượng truy cập thông qua chuyển hướng này.

Sau đó, sử dụng thẻ noindex trên trang mà bạn đang chuyển hướng là vô nghĩa vì dù sao nó cũng sẽ không được nhìn thấy.

Khi chuyển hướng vĩnh viễn (301), điều quan trọng chỉ là phản hồi mà URL đích chuyển hướng đang trả về.

Có X-Robots-Tag: noindexmột phương tiện. Tôi 301 đã chuyển hướng rất nhiều trang và sau vài tháng, URL gốc vẫn xuất hiện trong chỉ mục với nội dung của trang đích. Bây giờ tôi đã thêm X-Robots-Tag: noindexthẻ và tôi chờ xem kết quả.