robot.txt không được cập nhật

7

Tôi đã cập nhật một số tệp và tệp url trong tệp robot.txt để chặn tệp và tệp url khỏi kết quả tìm kiếm của google nhưng, vẫn là tệp hiển thị trong kết quả tìm kiếm. Theo đề xuất từ một trang web, tôi đã cố gắng cập nhật tệp robots.txt theo các bước bên dưới.

Trong các công cụ Google Webmaster, Health -> Fetch as Google -> nhập url và nhấp vào nút tìm nạp.

nhưng, các tập tin vẫn hiển thị trong kết quả tìm kiếm.

Lưu ý: trong các công cụ Google Webmaster, Sức khỏe -> URL bị chặn -> tệp robots.txt - ngày tải xuống có vẻ hai ngày trở lại.

robots.txt google-search-console

— Haridharan
nguồn

11

Phải mất một thời gian để Googlebot thu thập dữ liệu trang web của bạn. Lượng thời gian này có thể thay đổi tùy thuộc vào số lượng liên kết đến trang web của bạn, trong số các yếu tố khác. Sau khi trang web của bạn được thu thập thông tin, các URL trong tệp robot.txt sẽ được cập nhật.

— Mike
nguồn

2

+1 Việc này thường mất hàng giờ đến vài ngày, nhưng cũng có thể lâu hơn.

— Chris S

5

robot.txt chỉ xác định cách Google nên hoặc không nên thu thập dữ liệu trang web của bạn và như Mike đã nói nếu bạn chỉ dựa vào vectơ này, sẽ mất nhiều thời gian để xóa các trang khỏi chỉ mục.

Vì vậy, bạn cũng sẽ cần phải thực hiện một yêu cầu xóa nếu bạn muốn nó xảy ra nhanh hơn và yêu cầu Google xóa các trang khỏi chỉ mục. Khi bạn ở trong Công cụ quản trị trang web, hãy truy cập Optimization > Remove URLsvà làm theo hướng dẫn.

nhập mô tả hình ảnh ở đây

— Anthony Hatzopoulos
nguồn

3

Robots.txt chỉ có thể ngăn công cụ tìm kiếm thu thập dữ liệu , nó sẽ không ngăn được lập chỉ mục nếu trang hoặc tệp có liên kết từ các trang, nội bộ hoặc bên ngoài đến trang web của bạn, có thể thu thập dữ liệu.

Để chắc chắn rằng một trang sẽ không được lập chỉ mục, hãy áp dụng <meta name="robots" content="noindex">. Đối với mọi nội dung không phải HTML, như hình ảnh của PDF, hãy sử dụng tiêu đề HTTP tương đương : X-Robots-Tag: noindex.

Nếu bạn sử dụng các phương pháp này, không cần thiết phải gửi yêu cầu cho Google để xóa chúng cho bạn.

Thêm thảo luận của cả hai từ Google ở đây .

— GDav
nguồn

+1 cho thông tin tuyệt vời. Đối với những người có thiết kế trang web dựa trên mẫu và không phải trang html tĩnh, họ nên cẩn thận, họ không vô tình làm mất toàn bộ trang web của họ. Vì vậy, một số chương trình để chọn các trang của tôi được yêu cầu đi theo tuyến đường này. Ngoài ra, đối với CMS phổ biến như wordpress và drupal chẳng hạn, vẫn tồn tại các plugin / tiện ích mở rộng để đạt được những gì GDav đề xuất.

— Anthony Hatzopoulos

Xin chào GDav Cảm ơn phản hồi của bạn. nếu nội dung không phải là HTML không thể chỉnh sửa (như định dạng ebook- pdf) thì làm cách nào chúng ta có thể đặt tiêu đề?

— Haridharan

@Haridharan bit.ly/Xh6vw2

— GDav

0

Có thể liên kết đó nằm trong cơ sở dữ liệu được lập chỉ mục của Google. Đừng lo lắng khi nó đã bị xóa khỏi cơ sở dữ liệu của Google, nó sẽ không hiển thị trong SERPs.

— Jazz thông minh
nguồn