Nếu tôi đang chạy wordpress, thì tôi sẽ không chặn bất cứ thứ gì với robot.txt, vì nó ngăn Google thu thập dữ liệu, không phải để lập chỉ mục . Chỉ cần tìm kiếm trên Google "Google Analytics Web" và bạn sẽ thấy liên kết bị chặn trong tệp robots.txt, nhưng vẫn tồn tại trong kết quả tìm kiếm.
Và theo mặc định, các tệp Tài sản như css, js và hình ảnh được lưu trữ trong thư mục wp-admin, do đó sẽ gây ra lỗi hiển thị chính xác cho Google spider .
Và, có rất nhiều Google dork để tìm ra các trang wp-admin số lượng lớn trong kết quả tìm kiếm của Google và trang web của bạn sẽ hiển thị nếu bạn chỉ sử dụng robot.txt để ngăn chặn.
Tôi đề nghị chỉ sử dụng thẻ meta noindex trong wp-admin.
Và ở đây, nhiều người nói về bảo mật, nhưng Google không thể thu thập thư mục được bảo vệ bằng mật khẩu.
Lưu ý thêm: Không sử dụng cả hai. Ý tôi là nếu bạn chặn thư mục wp-admin trong robot.txt, thì Google sẽ không bao giờ biết, bạn đã đặt thẻ meta noindex trong wp-admin, vì trước tiên họ theo dõi tệp robots.txt sau đó là thẻ meta trên trang web.