Tôi có một tên miền phụ mà tôi không muốn được liệt kê trong bất kỳ kết quả công cụ tìm kiếm nào. Hãy nói rằng tôi có:
http://www.example.comhttp://child.example.comLàm cách nào tôi có thể ẩn tất cả các URL của child.example.comtên miền hiện đang hiển thị trong kết quả của công cụ tìm kiếm?
Câu trả lời:
Trong thư mục gốc của trang web tên miền phụ, hãy thêm một tệp có tên robot.txt chứa:
User-agent: *
Disallow: /
Điều này sẽ báo cho các trình thu thập dữ liệu web không lập chỉ mục trang web. Họ không phải tuân theo, nhưng những người chính sẽ làm.
noindexvào chỉ mục và các trang khác trên tên miền phụ
Sử dụng tệp robot.txt trong tên miền phụ của bạn sẽ giúp ích (và Google sẽ tuân theo điều này), nhưng một bước khác bạn có thể thực hiện là chỉ định với tài khoản Google Webmaster mà bạn không muốn tên miền phụ này được lập chỉ mục. Bạn cũng có thể sử dụng thẻ meta trên tất cả các trang trong tên miền phụ:
<meta name="robots" content="noindex">
Nếu đây là một trang web mà bạn chỉ đang sử dụng để thử nghiệm nội bộ, việc giới hạn khả năng hiển thị đối với một bộ địa chỉ IP được chỉ định trong tệp máy chủ ảo của bạn sẽ ẩn trang web đó.
metavào mỗi trang, thay vào đó bạn có thể trả lại X-Robots-Tagtiêu đề phản hồi HTTP từ máy chủ của mình cho tên miền phụ được chỉ định - điều này bạn chỉ phải thực hiện một lần.
Các giải pháp từ Kenzo và Paul đều tốt, bạn có thể đặt các thẻ meta noindex trên các trang web của mình và thêm robot.txt để không cho phép robot.
Nhưng theo tôi, giải pháp tốt nhất là sử dụng xác thực mật khẩu trên tên miền phụ của bạn. Đây là giải pháp duy nhất bạn chắc chắn robot có thể truy cập và lập chỉ mục trang web của bạn. Nếu bạn sử dụng Apache, bạn có thể triển khai htpasswd .
... Hiện đang hiển thị trong kết quả SEO?
Các câu trả lời khác liên quan nhiều hơn đến việc chủ động ngăn chặn việc lập chỉ mục tên miền (phụ) (chủ yếu là những gì bạn đang hỏi trong câu hỏi) thay vì chủ động xóa các trang của bạn khỏi kết quả tìm kiếm, có thể là nhiều hơn những gì bạn đang theo dõi, đánh giá bởi câu hỏi khác của bạn .
Bạn vẫn cần chặn trang web của mình trong tệp robots.txt và cung cấp thẻ noindex meta (hoặc X-Robots-Tagtiêu đề phản hồi HTTP), như đã nêu trong các câu trả lời khác, nhưng bạn cũng cần chặn quyền truy cập vào các trang của mình, trả về mã trạng thái 404 hoặc 410.
Bạn có thể đọc thêm về điều này trên trang trợ giúp của Google Webmaster Tools:
Yêu cầu xóa nội dung
Khi bạn đã có tất cả những thứ này rồi thì bạn có thể sử dụng công cụ Xóa URL trong Công cụ quản trị trang web của Google. Tuy nhiên, điều này chỉ áp dụng cho các URL riêng lẻ, không phải toàn bộ trang web, nhưng đó là một sự khởi đầu. (Google tuyên bố rằng sử dụng robot.txt, noindex và phục vụ 404 là những yêu cầu để sử dụng công cụ loại bỏ GWT.)
Tuy nhiên, nếu bạn vẫn muốn người dùng thông thường có thể truy cập trang web bằng cách nhập URL, thì đó là một vấn đề - vì nội dung của bạn không còn khả dụng. Bạn có thể mật khẩu nó, như Zistoloen gợi ý, tuy nhiên điều này sẽ trả về 403 (Bị cấm) theo mặc định mà bạn sẽ cần ghi đè để trả về 404/410. Bạn có thể che giấu nội dung của mình, trả lại 410 cho Googlebot và cho phép mọi người khác nhập - nhưng mọi người nhấp vào kết quả trong SERPs thì sao?
Nhưng nếu bạn muốn Google xóa nội dung của bạn trong thời gian nhanh nhất có thể thì bạn cần xóa nội dung đó khỏi internet "Google".