Tại sao b Nikol thu thập dữ liệu trang web của tôi như điên

Khi tôi kiểm tra nhật ký apache của mình, tôi có thể thấy rằng b Nikol đã thu thập dữ liệu trang web của tôi 10 lần một ngày trong 2 tuần qua.

Không phải là tôi quan tâm nhiều về nó nhưng tôi thực sự tò mò về lý do tại sao anh ấy làm điều này. Đây là một trang web thực sự nhỏ với không có nhiều liên kết đến.

Có bất kỳ lý do đằng sau đó?

220.181.108.169 [10/Mar/2012:10:41:29 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
180.76.5.197 [10/Mar/2012:11:02:02 +0100] "GET / ...robots.txt +(+http://www.baidu.com/search/spider.htm)"
123.125.71.100 [10/Mar/2012:11:33:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.167 [10/Mar/2012:11:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.116 [10/Mar/2012:12:24:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.172 [10/Mar/2012:12:25:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.111 [10/Mar/2012:13:33:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.167 [10/Mar/2012:13:34:03 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.168 [10/Mar/2012:14:12:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.107 [10/Mar/2012:14:23:41 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.176 [10/Mar/2012:14:23:58 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.94 [10/Mar/2012:15:25:59 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.183 [10/Mar/2012:15:26:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.92 [10/Mar/2012:17:45:55 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.71 [10/Mar/2012:17:45:57 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.79 [10/Mar/2012:17:46:04 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.103 [10/Mar/2012:17:47:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.179 [10/Mar/2012:17:48:37 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.108 [10/Mar/2012:18:37:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.185 [10/Mar/2012:18:38:13 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.96 [10/Mar/2012:19:25:50 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.169 [10/Mar/2012:19:25:59 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.101 [10/Mar/2012:20:25:51 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.176 [10/Mar/2012:20:26:09 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.105 [10/Mar/2012:21:33:38 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.178 [10/Mar/2012:21:34:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
180.76.5.170 [10/Mar/2012:21:57:39 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.98 [10/Mar/2012:22:26:13 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.175 [10/Mar/2012:22:26:33 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.104 [10/Mar/2012:23:34:09 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.169 [10/Mar/2012:23:34:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.171 [10/Mar/2012:23:52:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.168 [10/Mar/2012:23:52:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.110 [11/Mar/2012:00:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.184 [11/Mar/2012:00:34:27 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.103 [11/Mar/2012:02:37:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.177 [11/Mar/2012:02:37:58 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.97 [11/Mar/2012:03:34:30 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.172 [11/Mar/2012:03:35:07 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.107 [11/Mar/2012:04:35:33 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.178 [11/Mar/2012:04:36:16 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.115 [11/Mar/2012:05:34:31 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.187 [11/Mar/2012:05:35:12 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.97 [11/Mar/2012:06:24:17 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.181 [11/Mar/2012:06:24:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.112 [11/Mar/2012:07:40:27 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.187 [11/Mar/2012:07:41:17 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.95 [11/Mar/2012:08:29:42 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.175 [11/Mar/2012:08:30:07 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.105 [11/Mar/2012:09:35:23 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.184 [11/Mar/2012:09:36:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.106 [11/Mar/2012:10:39:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.165 [11/Mar/2012:10:40:11 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.171 [11/Mar/2012:11:23:57 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"

seo web-crawlers baidu

— yokoloko
nguồn

Bạn có nhận được bất kỳ lưu lượng truy cập hữu cơ từ Baidu.com? Nếu không tôi sẽ chặn con nhện nếu nó ăn hết băng thông của bạn như thế.

— Anagio

Không chắc chắn về ý nghĩa của bạn đối với lưu lượng truy cập không phải trả tiền, nhưng nếu bạn có ý nghĩa từ người dùng sử dụng công cụ tìm kiếm b Nikol, câu trả lời là không. Nó không lấy nhiều băng thông hoặc tài nguyên. Chỉ là tôi tò mò tại sao b Nikol lại bò nó nhiều như vậy.

— yokoloko

Vâng, đó là những gì tôi muốn nói. Nếu nó không chiếm nhiều băng thông, tôi sẽ không lo lắng trừ khi nó tiếp tục. Bạn luôn có thể gửi email cho họ. "Nếu bạn tìm thấy bất kỳ quyền truy cập bất hợp lý nào từ Baiduspider, vui lòng thông báo cho chúng tôi theo địa chỉ spiderhelp @ b cướp.com"

— Anagio

Tôi chỉ chặn một con nhện công cụ tìm kiếm nếu bạn không bao giờ muốn nhận bất kỳ lưu lượng tìm kiếm nào từ chúng, không chỉ bởi vì hiện tại bạn không nhận được bất kỳ - đặc biệt là xem xét rằng Baidu là công cụ tìm kiếm lớn thứ 3 trên thế giới về mặt thị trường chia sẻ.

— Lèse majesté

Yahoo rất năng nổ cho đến khi nó đủ chỉ mục trang web của bạn. Có những kẻ phá hoại ngoài kia tự xưng là Baidu, tôi sử dụng botvsbrowsers.com để xác định chúng và cấm chúng khi mọi thứ vượt quá tầm tay. Yandex có thể tạo ra cùng một loại lưu lượng truy cập.

— Phòng thí nghiệm Fiasco

Nghe có vẻ không phải là thứ bạn nên lo lắng quá nhiều, google thu thập dữ liệu một số trang web của tôi theo cách tương tự, nhưng nó có thể là bot giả, vì vậy hãy kiểm tra các liên kết bên dưới ...

Câu hỏi thường gặp của Spider Spider (bản dịch được xây dựng trong Chrome) có ý nghĩa như sau: -

4. Tại sao Baiduspider thu thập dữ liệu trang web của tôi liên tục? Để đảm bảo thông tin mới nhất được trình bày, Baiduspider thu thập dữ liệu trang mới hoặc trang thường xuyên được gia hạn tại trang web của bạn. Vui lòng kiểm tra nhật ký để xem việc thu thập dữ liệu từ Baiduspider có hợp lý không.

Để tránh việc thu thập dữ liệu quá mức bởi những kẻ gửi thư rác hoặc những người gây rắc rối khác giả vờ là Baiduspider, bạn có thể kiểm tra nhật ký. Khi bạn tìm thấy bất kỳ hoạt động thu thập thông tin bất thường nào, vui lòng thông báo cho chúng tôi tại spiderhelp @ b Nikol.com và cung cấp nhật ký của Baiduspider.

Yahoo cung cấp phiên bản riêng của các công cụ quản trị trang web (chức năng dịch của chrome sẽ cần thiết khi truy cập vào chính các công cụ đó) có lẽ việc đăng ký chúng có thể mang lại một số câu trả lời. Google WMT cung cấp khả năng hạn chế để quản lý tốc độ thu thập dữ liệu, có lẽ công cụ của họ cung cấp một số chức năng tương tự.

— toomanyairmiles
nguồn