Câu hỏi được gắn thẻ «user-agent»

Chúng tôi đã có một số vấn đề nghiêm trọng với con nhện được viết xấu của Yahoo trong quá khứ và kết quả là chúng tôi đã chặn chúng. Marco Arment của Tumblr cũng chia sẻ sự thất vọng của anh ấy với chúng tôi vào ngày 31 tháng …

25 user-agent  bing  yahoo  web-crawlers 

Có Ask bot, bộ tiêu đề này: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Xem xét điều này, tôi có các câu hỏi sau đây: Nếu tôi đang viết một trình thu thập dữ liệu web có tên Goofy, tôi nên sử dụng tác nhân người dùng nào? Sự khác biệt nếu tôi …

18 user-agent  web-crawlers 

Nhật ký của tôi có rất nhiều khách truy cập bot, thường đến từ Đông Âu và Trung Quốc. Các bot được xác định là Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou, v.v. Tôi có nên chặn các bot này khỏi trang web của mình không và tại sao? Những cái nào …

12 seo  web-crawlers  user-agent 

Làm thế nào tôi nên giải thích một tác nhân người dùng trống? Tôi có một số mã phân tích tùy chỉnh và mã đó chỉ phải phân tích lưu lượng truy cập của con người. Tôi đã có một danh sách hoạt động của các Tác nhân người dùng …

12 apache  analytics  http  user-agent  logging 

Tác nhân người dùng trong bất kỳ trình duyệt thông thường nào có chứa 'bot' hoặc 'thu thập dữ liệu'? Tôi kiểm tra tác nhân người dùng trên trang web của mình để xem nó có đến từ bot hay không. Nếu có, tôi có thể thực hiện một số …

11 user-agent 

Các mục nhật ký truy cập Apache trên trang web của tôi thường giống như thế này: 207.46.13.174 - - [31/10/2016: 10: 18: 55 +0100] "NHẬN / liên hệ HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (tương thích; bingbot / 2.0; + http: // www .bing.com / bingbot.htmlm) …

10 joomla  user-agent  apache-log-files  botattack 

Các tác nhân người dùng có thể được liệt kê cùng nhau, theo sau là các quy tắc chung của họ như vậy trong tệp robots.txt không? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

10 web-crawlers  robots.txt  user-agent 

Tôi chạy một trình thu thập dữ liệu web nhỏ và phải quyết định sử dụng tác nhân người dùng nào cho nó. Danh sách các tác nhân trình thu thập thông tin cũng như Wikipedia đề xuất định dạng sau: examplebot/1.2 (+http://www.example.com/bot.html) Tuy nhiên, một số bot bỏ qua …

10 web-crawlers  http  user-agent 

Tôi có một trang web, vì lý do quy định, có thể không được lập chỉ mục hoặc tìm kiếm tự động. Điều này có nghĩa là chúng ta cần phải tránh xa tất cả các robot và ngăn không cho chúng làm hỏng trang web. Rõ ràng là chúng …

9 apache  web-crawlers  user-agent 

(Câu hỏi về tiền thưởng ở phía dưới) Tôi gặp sự cố với một khách hàng truy cập trang web của chúng tôi và nguyên nhân cốt lõi là WAF (Tường lửa ứng dụng web) không giống như chuỗi Tác nhân người dùng của họ: User-Agent: Mozilla/5.0 (X11; Linux i686; …

8 user-agent 

Bạn sử dụng gì để phát hiện điện thoại di động của khách truy cập, xuống mô hình nếu có thể? Hiện tại chúng tôi vẫn duy trì cơ sở dữ liệu của riêng mình nhưng nó thực sự bị tụt hậu do thiếu nhân lực để duy trì cơ …

8 mobile  user-agent  browser-detecting 

Tôi có một số mã hóa đặc biệt chỉ hoạt động cho trình duyệt HTML5 (công cụ định vị địa lý đơn giản). Tôi muốn chuyển hướng người dùng iPhone và Android sang phiên bản m.example.com của trang web của tôi. Làm thế nào là cách tốt nhất để làm …

8 iphone  android  redirects  user-agent