Câu hỏi được gắn thẻ «web-crawlers»

Một chương trình máy tính truy cập các trang web cho các mục đích khác nhau (để cạo nội dung, để cung cấp cho các công cụ tìm kiếm thông tin về trang web của bạn, v.v.)

Sẽ cấm các bot làm cho một trang web khó tìm thấy hơn trên các công cụ tìm kiếm?

Tôi đang chạy Apache 2 và một phần lớn lượt xem trang của chúng tôi đến từ bot. Hầu hết trong số đó là những người hợp pháp như Google và Bing. Tôi muốn phân tích nhật ký và nhận số liệu thống kê chính xác về số lượng khách …

7 web-crawlers robots.txt

Điều gì xảy ra nếu tôi cố gắng đặt cookie trên bot?

Tôi đang xây dựng trang web của mình để bao gồm một số cookie nhận dạng người dùng. Khi khách truy cập bấm chuông, tôi sẽ đặt cookie với id khách truy cập duy nhất (hướng dẫn) và thời gian truy cập và lưu bản ghi truy cập (bao gồm …

7 web-crawlers googlebot cookie bingbot

@ phông chữ, phông chữ google và SEO

Một người mà tôi biết tuyên bố rằng các công cụ tìm kiếm như Google gặp rắc rối với các phông chữ không phải là phông chữ tiêu chuẩn cũ của năm qua, dẫn đến các trang không bị phân tách bởi các trình tìm kiếm và để đảm bảo …

7 seo fonts web-crawlers

Có một chỉ mục của các địa chỉ IP được sử dụng bởi các bot lập chỉ mục?

Tôi có một trang nhận được lưu lượng tối thiểu, nhưng tôi thiết lập thông báo tĩnh khi nó bị tấn công. Bây giờ, tôi muốn các bot bị bỏ qua, vì vậy những gì tôi đang làm bây giờ là thêm các bot tôi thấy vào danh sách "không …

7 search-engines web-crawlers

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookie và Chính sách bảo mật của chúng tôi.

Licensed under cc by-sa 3.0 with attribution required.