Câu hỏi được gắn thẻ «web-crawlers»

Trên một máy chủ web bây giờ tôi phải thừa nhận tôi nhận thấy rằng tệp robots.txt trống. Tôi tự hỏi liệu có sự khác biệt giữa robot.txt trống và không có tệp nào không. Do trình thu thập thông tin hành xử khác nhau trong hai trường hợp này? …

28 web-crawlers  robots.txt  webserver 

Nhật ký cho một trang web mà tôi quản lý hiển thị yêu cầu về tệp không tồn tại của Bingbot. Các chi tiết của yêu cầu là Đường dẫn: /trafficbasingsspsitemap.xml Người dùng: "Mozilla / 5.0 (tương thích; bingbot / 2.0; + http://www.bing.com/bingbot.htm )" Địa chỉ IP: 65.55.213.244 (tra cứu …

28 bing  logging  web-crawlers 

Là một quản trị trang web phụ trách một trang web nhỏ có diễn đàn, tôi thường xuyên nhận được những lời phàn nàn từ người dùng rằng cả công cụ tìm kiếm nội bộ và các tìm kiếm bên ngoài (như khi sử dụng Google) đều bị ô nhiễm …

28 html  search-engines  forum  web-crawlers 

Chúng tôi đã có một số vấn đề nghiêm trọng với con nhện được viết xấu của Yahoo trong quá khứ và kết quả là chúng tôi đã chặn chúng. Marco Arment của Tumblr cũng chia sẻ sự thất vọng của anh ấy với chúng tôi vào ngày 31 tháng …

25 user-agent  bing  yahoo  web-crawlers 

Câu hỏi này đã được di chuyển từ Stack Overflow vì nó có thể được trả lời trên Web Exchange của Exchange Exchange. Di cư 9 năm trước . Con nhện Google có biết cách kết xuất JavaScript hay chỉ HTML không?

22 javascript  google  seo  web-crawlers 

Đã đóng cửa. Câu hỏi này không đúng chủ đề . Nó hiện không chấp nhận câu trả lời. Bạn muốn cải thiện câu hỏi này? Cập nhật câu hỏi để nó thuộc chủ đề cho Trao đổi ngăn xếp webmaster. Đóng cửa 6 năm trước . Tôi có một …

21 site-maintenance  web-crawlers  dead-links 

Phần lớn đã được tạo ra từ tần số thu thập dữ liệu nhện nhện. Đó là sự thật: "Baiduspider bò như điên." Tôi đã trải nghiệm hiện tượng này tại các trang web tôi làm việc cùng. Trong ít nhất một trường hợp, tôi đã thấy rằng Baiduspider thu …

18 seo  search-engines  googlebot  web-crawlers 

Có Ask bot, bộ tiêu đề này: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Xem xét điều này, tôi có các câu hỏi sau đây: Nếu tôi đang viết một trình thu thập dữ liệu web có tên Goofy, tôi nên sử dụng tác nhân người dùng nào? Sự khác biệt nếu tôi …

18 user-agent  web-crawlers 

Tôi có một thư mục con mà tôi muốn ẩn khỏi trình thu thập dữ liệu web của công cụ tìm kiếm. Một cách để làm điều này là sử dụng một robots.txttrong thư mục gốc của máy chủ (cách tiêu chuẩn). Tuy nhiên, bất kỳ ai biết URL trang …

16 web-crawlers  robots.txt 

Bất cứ khi nào tôi tạo một trang web Responsive, tôi thường tạo 2 menu: 1 ẩn và được sử dụng cho thiết bị di động và cái còn lại hiển thị dưới dạng menu chính, sau đó ẩn để hiển thị menu di động. Bất cứ khi nào nói …

15 seo  web-crawlers  googlebot  navigation 

Hầu hết các chuyến thăm của tôi là từ những con nhện b Nikol. Tôi không nghĩ rằng nó giúp công cụ tìm kiếm chút nào vì vậy tôi đang nghĩ cách chặn chúng. Điều này có thể được thực hiện thông qua iptables? Tôi đang sử dụng nginx làm …

15 traffic  nginx  web-crawlers  baidu 

Tôi nhớ một trang web bị đóng do sử dụng sai và tôi tự hỏi liệu bot có một phần của nó không. Nếu bot đang gửi một cái gì đó lên trang web của tôi, những cách tôi có thể chống lại nó là gì? Tôi đã nghĩ đến …

15 web-crawlers  spam-prevention  spam-bots 

Gần đây tôi đã đăng ký một tên miền mới, trỏ nó đến máy chủ hiện tại của tôi và thiết lập một trang tối thiểu chỉ nói "kiểm tra" và không có gì khác. Tối nay tôi mới phát hiện ra rằng trang này đã được lập chỉ mục …

13 search-engine-indexing  domain-registration  web-crawlers 

Nhật ký của tôi có rất nhiều khách truy cập bot, thường đến từ Đông Âu và Trung Quốc. Các bot được xác định là Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou, v.v. Tôi có nên chặn các bot này khỏi trang web của mình không và tại sao? Những cái nào …

12 seo  web-crawlers  user-agent 

Khi tôi kiểm tra nhật ký apache của mình, tôi có thể thấy rằng b Nikol đã thu thập dữ liệu trang web của tôi 10 lần một ngày trong 2 tuần qua. Không phải là tôi quan tâm nhiều về nó nhưng tôi thực sự tò mò về lý …

12 seo  web-crawlers  baidu