Đầu tiên, tôi sẽ gửi lời xin lỗi đến tất cả các quản trị web chuyên nghiệp ngoài kia, nhưng đối với OP này, tôi có một gợi ý vàng:
Vi phạm nguyên tắc công cụ tìm kiếm
Và tôi có nghĩa là làm điều đó đến mức mà nội dung quan trọng nằm trong javascript phức tạp và các robot nội dung có thể thu thập dữ liệu không có trong HTML phù hợp. Điều này bao gồm thẻ mô tả xấu, thẻ tiêu đề xấu, v.v ... Heck, có thể biến toàn bộ nội dung thành một video được tạo trong flash hoặc hiển thị toàn bộ nội dung dưới dạng một hình ảnh. Điều đó thực sự sẽ làm cho công cụ tìm kiếm thu thập thông tin co rúm.
Tôi sẽ hiển thị bằng ví dụ trong mã:
Đây là một cách để có được một cái gì đó được lập chỉ mục:
<!DOCTYPE html>
<html>
<head>
<title>Web page</title>
<meta name="description" content="This is a wonderful web page">
</head>
<body>
<h1>A wonderful web page</h1>
<h2>By John Smith</h2>
<p>This is a wonderful page. ya de ya de ya de ya de ya de ya de</p>
<p>This is wonderful. ya de ya de ya de ya de ya de ya de</p>
</body>
</html>
Ok, tôi thừa nhận, văn bản không hoàn hảo, nhưng bạn hiểu ý tôi là gì.
Bây giờ nếu bạn muốn ẩn nó khỏi trình thu thập thông tin và thực hiện theo cách đơn giản, bạn có thể thử điều này:
<!DOCTYPE html>
<html>
<head>
<title>Private</title>
</head>
<body>
<img src="mywebsite.jpg" width=1024 height=768>
</body>
</html>
sau đó tạo một hình ảnh có tên mywebsite.jpg và bao gồm tất cả các văn bản trong đó, không phải trong html được hiển thị ở trên. Sau đó, bạn cần bảo vệ mywebsite.jpg bằng cách tạo phiên bản thủy ấn của nó cho người dùng không được phép nhìn thấy vật thật. Chỉ cần so sánh các chuỗi tác nhân người dùng hoặc địa chỉ IP với những người bạn cho phép / không cho phép hình ảnh. Loại điều này có thể được thực hiện trong .htaccess với một số quy tắc viết lại.
Ví dụ: để buộc googlebot xem hình ảnh thủy ấn thay vì ảnh thật, hãy sử dụng các quy tắc sau:
RewriteCond %{HTTP_USER_AGENT} ^googlebot$ [NC]
RewriteRule ^mywebsite.jpg$ specialrobotimage.jpg [L]
Tôi giả sử ở đây rằng mywebsite.jpg là trang web thực sự của bạn dưới dạng hình ảnh và Specialrobotimage.jpg là hình mờ hoặc hình ảnh dưới dạng tin nhắn chỉ cho biết người dùng thực sự mới được phép xem thông tin. Ngoài ra, các quy tắc giả định mọi thứ đều nằm trong cùng một thư mục.