Tôi có nên chặn bot từ trang web của mình không và tại sao?


12

Nhật ký của tôi có rất nhiều khách truy cập bot, thường đến từ Đông Âu và Trung Quốc. Các bot được xác định là Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou, v.v. Tôi có nên chặn các bot này khỏi trang web của mình không và tại sao?

Những cái nào có mục đích chính đáng trong việc tăng lưu lượng truy cập vào trang web của tôi? Nhiều người trong số họ là SEO.

Tôi phải nói rằng tôi thấy lưu lượng truy cập ít hơn nếu bất cứ điều gì kể từ khi các bot đã đến với số lượng lớn.

Sẽ không quá khó để chặn những thứ này vì tất cả đều thừa nhận trong Tác nhân người dùng của họ rằng họ là bot.

Câu trả lời:


7

Bạn có thể chặn bot nhưng nó phụ thuộc vào những gì bạn muốn cho trang web của bạn.

Bạn có thể chặn các bot công cụ tìm kiếm nếu bạn không muốn thấy trang web của mình được lập chỉ mục trong một công cụ tìm kiếm cụ thể.
Ví dụ: Yandex là công cụ tìm kiếm của Nga. Bạn có thể chặn bot của nó nếu doanh nghiệp của bạn không nhắm mục tiêu đến Nga.

Bạn có thể chặn các bot SEO nếu bạn không muốn sử dụng giải pháp phân tích trang web của họ.
Ví dụ: Ahrefs là giải pháp phân tích trang web. Bạn có thể chặn bot của nó nếu bạn không sử dụng giải pháp phân tích trang web này.

Lý do chặn bot:

  • ít robot hơn đến trang web của bạn và nhiều băng thông được quy cho khách truy cập thực sự
  • được an toàn trước các bot phần mềm độc hại
  • kích thước bản ghi

Lý do để không chặn bot:

  • các bot như bot công cụ tìm kiếm có thể tăng lưu lượng truy cập của bạn bằng cách lập chỉ mục trang web của bạn.

Bạn có thể tìm hiểu thêm về bot bằng cách đọc FAQ của robotstxt.org .

Nếu bạn muốn xác định một số robot để chặn, bạn có thể lấy cảm hứng từ trang web robots.txt này .

Hãy cẩn thận, một số bot có thể bỏ qua robot.txt , thông tin thêm ở đây .

Kết luận : Bạn có thể tìm kiếm trên chức năng robot internet để xác định xem việc chặn chúng có hữu ích hay không.


Cảm ơn. Nhân tiện, tôi cũng nhận được lượt truy cập từ Linode. UA nói rằng đó là một kịch bản Python. Tôi có nên nghi ngờ?
Frank E

Nếu tôi là bạn, tôi đã không chặn Linode. Tôi không biết chính xác nó là gì về lưu trữ.
Zistoloen

IPStrada thì sao? Tôi thấy họ xuất hiện theo thời gian. Họ không bao giờ đăng ký một tài khoản.
Frank E

Giống như Linode. Robot quét internet ngay cả khi bạn hoặc họ không bao giờ đăng ký tài khoản. Nhưng đừng lo lắng, đó không phải là vấn đề lớn.
Zistoloen

4

Mặc dù cố gắng chặn bot có thể giúp giải phóng tài nguyên và dọn sạch nhật ký của bạn, điều quan trọng cần lưu ý là robot.txt và thậm chí sử dụng thẻ meta trên các trang noindex không thực sự ngăn chặn bot truy cập trang web của bạn. Thỉnh thoảng họ vẫn có thể thu thập dữ liệu trang web của bạn để xem liệu bị từ chối từ robot đã bị xóa hay chưa. Nhiều bot thậm chí không sử dụng tác nhân người dùng và sẽ sử dụng tác nhân người dùng chuẩn. Các bot mà tôi đang đề cập đến thường là các bot thu hoạch SEO quét các liên kết ngược chứ không phải các bot chung mà bạn tìm thấy từ các công cụ tìm kiếm.

Thay vì chặn các bot, bạn chỉ nên tính đến các bot này khi đếm số khách truy cập của mình, sau một thời gian tích cực theo dõi trang web của bạn, bạn sẽ thiết lập một con số sơ sài là bot. Hầu hết mọi người quan tâm đến các lượt truy cập duy nhất và điều này loại trừ các bot vì chúng liên tục quay trở lại. Trong thời đại ngày nay, có rất nhiều máy chủ, lưu trữ được chia sẻ có thể xử lý các bot này ngoài các trang mà bạn không muốn lập chỉ mục Tôi không thấy lý do gì để chặn các loại bot này. Tất nhiên bạn cũng có các bot có hại nhưng chúng chắc chắn sẽ không sử dụng tác nhân người dùng;).

Cá nhân tôi tin rằng việc chặn robot là lãng phí thời gian vì chúng không sử dụng nhiều tài nguyên đó, robot SEO có thể giúp đỡ khi chúng liệt kê trang web của bạn trên các trang PR0, điều này tất nhiên làm tăng PageRank của bạn và ở đó tự động để bạn không bị trừng phạt bởi họ.

Nhật ký vấn đề

Bạn nên sử dụng trình xem nhật ký thích hợp cho phép bạn lọc ra một số yêu cầu nhất định, điều này giúp dễ dàng hơn khi xem lại nhật ký của bạn. Những người xem giỏi có thể lọc ra nhiều thứ như các lượt truy cập bình thường, 404s và hơn thế nữa.


1
Tại sao các bot SEO quét các liên kết ngược? Có phải chỉ vì đó là thứ mà các chuyên gia tư vấn SEO sử dụng? Hoặc có một số mục đích độc ác hơn?
Frank E

2
Xin chào Frank, họ quét các liên kết ngược và đăng nhập chúng để các quản trị web có thể thấy ai đang liên kết với họ. Các công ty SEO phải đăng nhập backlink và tính phí cho các quản trị web để khám phá các liên kết đến họ, khi liên kết được tạo, nếu nó bị xóa, nếu nó theo hoặc không theo dõi - họ sử dụng văn bản neo nào. Google, Bing không cung cấp thông tin này vì vậy đây là một dịch vụ mong muốn và có giá trị đối với hầu hết các bậc thầy web muốn xem mạng liên kết của họ.
Simon Hayter

Cũng không có gì đáng nói khi rất nhiều lỗ hổng mà mọi người tìm kiếm được thu thập bằng cách sử dụng các công cụ tìm kiếm và không quét bot trên mỗi trang web. Ví dụ: nếu một mô-đun / plugin hết hạn và có một người khai thác đã biết sẽ sử dụng Google để định vị các trang web này để khai thác chúng. Robot chặn sẽ không bảo mật máy chủ của bạn: P
Simon Hayter

@bybe Bởi 'Vulablites', ý bạn là 'lỗ hổng'?
DaveP

@DaveP hoàn toàn;) thx - đã sửa.
Simon Hayter
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.