Có một số trang trên trang web của tôi mà tôi muốn người dùng chỉ có thể truy cập nếu tôi cung cấp cho anh ấy / cô ấy URL.
Nếu tôi không cho phép các trang đơn lẻ vào robots.txt, bất kỳ ai cũng sẽ nhìn thấy chúng.
Câu hỏi của tôi là: nếu tôi không liên kết chúng từ bất cứ đâu, hoặc ít nhất là từ bất kỳ trang nào được lập chỉ mục, liệu chúng có còn được các trình thu thập thông tin tiếp cận theo cách nào đó không?
Câu trả lời:
Bạn hoàn toàn không muốn trang xuất hiện trong SERPs ...
Không cho phép trong tệp robots.txt. Thay vào đó, hãy thêm thẻ meta noindex (hoặc tiêu đề HTTP X-Robots-Tag) vào các trang của bạn.
Như j0k gợi ý, các trang của bạn có thể được tìm thấy bằng cách nào đó. Thống kê báo cáo, danh sách thư mục, v.v ...
Không cho phép robot.txt ngăn trang được thu thập thông tin, nhưng vẫn có thể được lập chỉ mục và có thể xuất hiện dưới dạng liên kết chỉ URL trong SERPs. Cái gì đó như:
Thẻ meta noindex ngăn không cho trang xuất hiện trong SERPs - nhưng Google phải có thể thu thập dữ liệu trang để xem thẻ meta noindex - vì vậy nó không thể bị vô hiệu hóa trong robot.txt!
Nếu có bất cứ điều gì trên trang không được công khai thì các trang phải đứng sau một số loại xác thực.
Vâng, tôi nghĩ rằng bạn có trình thu thập thông tin tốt đọc robot.txt và làm theo chỉ thị. Và một số khác không tuân theo chỉ thị.
Và làm thế nào để bạn có kế hoạch để cung cấp url này? Bằng email, sử dụng Facebook hay Twitter? Tất cả các dịch vụ này thu thập thông tin bạn gửi. Gmail phân tích email bạn nhận được để cung cấp quảng cáo. Vì vậy, url của bạn sẽ được thu thập thông tin bằng cách nào đó.
Một số người sử dụng Thanh công cụ Google (hoặc bất kỳ thanh công cụ nào khác từ công cụ tìm kiếm). Có một tùy chọn (được kiểm tra theo mặc định nếu tôi nhớ rõ) cho phép thanh công cụ gửi tất cả các url bạn truy cập tới Google. Đây là một cách khác để Google xem web ẩn. Vì vậy, ngay cả khi bạn nói với người đó không chia sẻ url, anh ấy / cô ấy sẽ (nhờ thanh công cụ).
Tôi nghĩ rằng chúng ta có thể tìm thấy nhiều khả năng khác.
Vì vậy, bạn có thể thêm nó vào robot.txt nhưng cũng cung cấp thêm meta như noindex, nofollow, v.v.
biên tập:
Đề xuất của w3d về robot.txt có vẻ tốt với tôi. Vì vậy, đừng thêm nó vào robot.txt và cung cấp thẻ meta propre.
Ngoài các ý kiến trên, tôi cũng khen ngợi xác thực HTACCESS là tối thiểu - theo cách đó bạn có thể cung cấp cho cá nhân một kết hợp tên người dùng / mật khẩu trong suốt thời gian họ được phép xem (các) trang
Nếu có bất cứ điều gì có vấn đề về quyền riêng tư thì bạn cần xem xét một kịch bản kiểm soát đăng nhập thích hợp.
Một trang không được bảo vệ (cho dù bạn nghĩ nó có thể bị che khuất đến mức nào) sẽ khiến nó trở nên hoang dã.