Ngăn chặn robot thu thập dữ liệu một phần cụ thể của trang

Là một quản trị trang web phụ trách một trang web nhỏ có diễn đàn, tôi thường xuyên nhận được những lời phàn nàn từ người dùng rằng cả công cụ tìm kiếm nội bộ và các tìm kiếm bên ngoài (như khi sử dụng Google) đều bị ô nhiễm bởi chữ ký của người dùng của tôi (họ đang sử dụng lâu chữ ký và đó là một phần kinh nghiệm của diễn đàn vì chữ ký có ý nghĩa rất lớn trong diễn đàn của tôi).

Vì vậy, về cơ bản hiện tại tôi đang thấy hai lựa chọn:

1. Hiển thị chữ ký dưới dạng hình ảnh và khi người dùng nhấp vào "hình ảnh chữ ký", nó sẽ được đưa đến một trang có chữ ký thật (với các liên kết trong chữ ký, v.v.) và trang đó được đặt là không thể thu thập thông tin nhện động cơ). Điều này sẽ tiêu tốn một số băng thông và cần một số công việc (vì tôi cần một trình kết xuất HTML tạo ra hình ảnh, v.v.) nhưng rõ ràng nó sẽ giải quyết được vấn đề (có một số vấn đề nhỏ trong đó chữ ký sẽ không tôn trọng phông chữ / màu của người dùng nhưng người dùng của tôi rất sáng tạo với chữ ký của họ, sử dụng phông chữ / màu sắc / kích thước tùy chỉnh, v.v. vì vậy đó không phải là vấn đề lớn).

2. Đánh dấu mọi phần của trang web có chữ ký là không thể thu thập dữ liệu.

Tuy nhiên tôi không chắc chắn về sau này: đây có phải là điều có thể làm được không? Bạn chỉ có thể đánh dấu các phần cụ thể của trang web là không thể thu thập dữ liệu?

Đây là câu trả lời tương tự mà tôi đã cung cấp cho thẻ noindex cho google trên Stack Overflow:

Bạn có thể ngăn Google nhìn thấy các phần của trang bằng cách đặt các phần đó vào iframe bị chặn bởi tệp robots.txt.

robot.txt

Disallow: /iframes/

index.html

This text is crawlable, but now you'll see 
text that search engines can't see:
<iframe src="/iframes/hidden.html" width="100%" height=300 scrolling=no>

/iframes/hidden.html

Search engines cannot see this text.

Thay vì sử dụng iframe, bạn có thể tải nội dung của tệp ẩn bằng AJAX. Dưới đây là một ví dụ sử dụng jquery ajax để làm như vậy:

his text is crawlable, but now you'll see 
text that search engines can't see:
<div id="hidden"></div>
<script>
    $.get(
        "/iframes/hidden.html",
        function(data){$('#hidden').html(data)},
    );
</script>

Một giải pháp khác là bọc sig trong một khoảng hoặc div với kiểu được đặt thành display:nonevà sau đó sử dụng Javascript để loại bỏ nó để văn bản hiển thị cho các trình duyệt có bật Javascript. Các công cụ tìm kiếm biết rằng nó sẽ không được hiển thị vì vậy không nên lập chỉ mục cho nó.

Một chút về HTML, CSS và javascript nên làm điều đó:

HTML:

<span class="sig">signature goes here</span>

CSS:

.sig {
display:none;
}

javascript:

<script type="text/javascript"> 
$(document).ready(function()
  {
      $(".sig").show();
  }
</script>

Bạn sẽ cần bao gồm một thư viện jquery .

Tôi đã có một vấn đề tương tự, tôi đã giải quyết nó bằng css nhưng nó cũng có thể được thực hiện với javascript và jquery.

1 - Tôi đã tạo một lớp mà tôi sẽ gọi " disallowed-for-crawlers" và đặt lớp đó vào mọi thứ mà tôi không muốn bot Google nhìn thấy hoặc đặt nó trong một khoảng với lớp đó.

2 - Trong CSS chính của trang, tôi sẽ có một cái gì đó như

.disallowed-for-crawlers {
    display:none;
}

3- Tạo một tệp CSS có tên disallow.css và thêm tệp đó vào tệp robots.txt không được phép thu thập thông tin, vì vậy trình thu thập thông tin sẽ không truy cập vào tệp đó, nhưng thêm tệp đó làm tham chiếu đến trang của bạn sau css chính.

4- Trong disallow.csstôi đặt mã:

.disallowed-for-crawlers {
    display:block !important;
}

Bạn có thể chơi với javascript hoặc css. Tôi chỉ tận dụng các lớp không cho phép và các lớp css. :) hy vọng nó sẽ giúp được ai đó.

Một cách để làm điều này là sử dụng một hình ảnh của văn bản chứ không phải là văn bản thuần túy.

Có thể Google cuối cùng sẽ đủ thông minh để đọc văn bản ra khỏi hình ảnh, vì vậy nó có thể không hoàn toàn là bằng chứng trong tương lai, nhưng nó sẽ hoạt động tốt trong ít nhất một thời gian kể từ bây giờ.

Có một loạt các nhược điểm của phương pháp này. Nếu một người bị khiếm thị, điều đó thật tệ. Nếu bạn muốn nội dung của mình thích ứng với thiết bị di động so với máy tính để bàn, điều đó thật tệ. (vân vân)

Nhưng nó là một phương pháp hiện đang (phần nào) hoạt động.

Điều này thật dễ dàng.

Trước khi phục vụ trang của bạn, bạn cần biết nó là bot, máy tính hay điện thoại. Sau đó, bạn cần phải thiết lập nội dung cho phù hợp. Đây là thông lệ tiêu chuẩn trong thời đại ngày nay và chức năng cốt lõi của một số CMS.

Có rất nhiều giải pháp về SE để thực hiện chuyển hướng dựa trên ĐẠI LÝ NGƯỜI DÙNG có thể được đưa vào htaccess của bạn. Nếu điều này phù hợp với phần mềm diễn đàn của bạn thì bạn có thể chạy các mã khác nhau trên cùng một DB để cung cấp những gì Google cần mà không cần phải chỉnh sửa.

Ngoài ra, bạn có thể đặt một dòng nhỏ trong mã PHP có chữ 'if USER AGENT == Googlebot thì không hiển thị chữ ký'.

Nếu bạn thực sự không thể làm điều đó thì bạn có thể lấy mod_proxy để phục vụ cho bot và sử dụng nó để loại bỏ bất cứ thứ gì mà mã php của bạn tạo ra mà bot không cần phải xem.

Về mặt kỹ thuật, Google không chấp thuận công cụ tìm kiếm của họ được hiển thị một trang khác với những gì khách truy cập trang web bình thường nhìn thấy, tuy nhiên, cho đến nay, họ đã không đưa BBC và các công ty khác cung cấp nội dung dành riêng cho trình duyệt / IP / khách truy cập . Họ cũng có phương tiện hạn chế để xem bot của họ đã được 'kết nối' chưa.

Giải pháp thay thế ẩn nội dung bằng CSS để nó được kích hoạt lại bởi tập lệnh cũng là một phần màu xám. Theo hướng dẫn của Công cụ quản trị trang web của riêng họ vào ngày 20/6/11, đây không phải là một ý tưởng hay:

http://www.google.com/support/webmasters/

Đó có thể không phải là một chiếc máy tính bảng được đúc bằng đá, nhưng nó được cập nhật và bởi Google.

Thủ thuật ẩn nội dung sẽ không hoạt động với thiểu số người không có javascript, điều này có thể không phải là mối quan tâm lớn, tuy nhiên, chờ tài liệu tải và sau đó hiển thị chữ ký sẽ không phải là trải nghiệm xem thỏa đáng như bạn sẽ nghĩ rằng trang đã được tải, sau đó nó sẽ nhảy lên khi các chữ ký ẩn hiển thị để sau đó đẩy nội dung xuống trang. Kiểu tải trang này có thể gây khó chịu nếu bạn có một mạng cấp thấp nhưng có thể không đáng chú ý nếu bạn có một máy phát triển nhanh trên kết nối internet nhanh.

Không, không có cách nào để ngăn chặn robot thu thập dữ liệu các phần của trang. Đó là cả một trang hoặc không có gì.

Các đoạn trong kết quả tìm kiếm của Google thường được lấy từ mô tả meta trên trang. Vì vậy, bạn có thể làm cho Google hiển thị một phần cụ thể của trang bằng cách đặt phần đó vào thẻ mô tả meta. Với nội dung do người dùng tạo, thật khó để có được đoạn trích hay, nhưng lấy bài đăng đầu tiên của chuỗi có thể sẽ hoạt động.

Cách khác duy nhất tôi có thể nghĩ là sử dụng Javascript. Một cái gì đó như paulmorriss đề xuất có thể hoạt động, nhưng tôi nghĩ các công cụ tìm kiếm vẫn sẽ lập chỉ mục nội dung nếu nó có trong HTML. Bạn có thể xóa nó khỏi HTML, lưu trữ nó trong chuỗi Javascript, sau đó thêm lại khi tải trang. Điều này có một chút phức tạp, mặc dù.

Cuối cùng, một điều cần lưu ý: nếu Google hiển thị chữ ký của người dùng trong đoạn trích của họ, thì đã quyết định đó là phần có liên quan nhất đến truy vấn của người dùng.

Bạn có thể đặt trang vào PHP nếu có "khác" dẫn đến hình ảnh xác thực cung cấp khóa cho phần if.

Tôi không thực sự quan tâm bởi vì nếu thông tin người dùng không khớp trên trang của tôi thì họ sẽ nhận được một trang trống hoặc được gửi đến trang đăng nhập.

<?php
session_start();

if(empty($_SESSION['captcha']) or $_SESSION['captcha'] != $key){
    header("Location: captcha.php");
}

if(!empty($_SESSION['captcha']) and $_SESSION['captcha'] == $key){

"the page"

}
?>

$key phải là một hàm băm của ngày hiện tại hoặc một cái gì đó thay đổi để nó không đủ để thêm giá trị vào phiên.

Viết bình luận nếu bạn muốn tôi thêm một ví dụ captcha vì bây giờ tôi không có ai trong tôi.

Rõ ràng, <! - googleoff: all -> và <! - googleon: all -> làm những gì bạn muốn.

Đọc thêm https://www.google.com/support/enterprise/static/gsa/docs/admin/70/gsa_doc_set/admin_crawl/preparing.html#1076243

https://perishablepress.com/tell-google-to-not-index-certain-parts-of-your-page/