Câu hỏi được gắn thẻ «googlebot»

Tôi đang theo dõi vị trí địa lý của mọi thành viên (sử dụng db-ip) và mọi thứ đều ổn trừ điện thoại di động có trình duyệt Chrome. Họ luôn cho tôi kết quả US Mountain View California ip:66.249.xxx.xxx. Đây là Google; Tôi chắc chắn 100% về nó. Nhưng …

27 googlebot  mobile  ip-address  google-chrome 

Làm cách nào để ngăn các tệp sơ đồ trang web XML của tôi hiển thị trong kết quả tìm kiếm của Google như kết quả của site:truy vấn tìm kiếm này: Tôi không hiểu tại sao Google lại chọn hiển thị tệp sơ đồ trang web trong kết quả …

23 google  sitemap  search-engine-indexing  googlebot  xml-sitemap 

Phần lớn đã được tạo ra từ tần số thu thập dữ liệu nhện nhện. Đó là sự thật: "Baiduspider bò như điên." Tôi đã trải nghiệm hiện tượng này tại các trang web tôi làm việc cùng. Trong ít nhất một trường hợp, tôi đã thấy rằng Baiduspider thu …

18 seo  search-engines  googlebot  web-crawlers 

Tôi đã thêm một tệp robots.txt vào một trong các trang web của tôi một tuần trước, điều này sẽ ngăn Googlebot cố gắng tìm nạp một số URL nhất định. Tuy nhiên, cuối tuần này tôi có thể thấy Googlebot đang tải các URL chính xác đó. Google có …

17 googlebot  robots.txt  google-cache 

Bất cứ khi nào tôi tạo một trang web Responsive, tôi thường tạo 2 menu: 1 ẩn và được sử dụng cho thiết bị di động và cái còn lại hiển thị dưới dạng menu chính, sau đó ẩn để hiển thị menu di động. Bất cứ khi nào nói …

15 seo  web-crawlers  googlebot  navigation 

Tôi hiện đang chuyển hướng tất cả các kết nối không phải HTTPS sang HTTPS và hỗ trợ TLS v1, TLS v1.1 và TLS v1.2. Tôi đã cấu hình lại máy chủ thử nghiệm của mình để chỉ chấp nhận một bộ mật mã rất hạn chế và an toàn …

12 seo  search-engines  https  googlebot  bingbot 

Tôi đã thấy mã như để ngăn Google lập chỉ mục một phần của trang: <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> Nó có hoạt động không?

12 search-engine-indexing  googlebot 

Đây là một trong những khách hàng của tôi, thực hiện một số hành động sau khi đăng nhập vào tài khoản của anh ấy. Mã thông báo duy nhất chỉ đơn giản là id người dùng được mã hóa + dấu thời gian. 94.254.xxx.xxx - - [02/07/2011: 22: 25: …

12 google  search-engines  googlebot 

Tôi đã nhận thấy rằng Google Webmaster Tools đang báo cáo rất nhiều tài nguyên bị chặn trong trang web của tôi. Ngay bây giờ tất cả "tài nguyên bị chặn" là .css, .js và hình ảnh (.jpg, .png) mà tôi phục vụ từ Cloudfront CDN. Tôi đã dành rất …

11 google-search-console  web-crawlers  googlebot  cdn  amazon-cloudfront 

Đã viết một số bot và thấy số lượng lớn các bot ngẫu nhiên xảy ra để thu thập dữ liệu một trang web, tôi tự hỏi là một quản trị trang web, những bot nào thực sự đáng để cho vào một trang web? Suy nghĩ đầu tiên của …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Bối cảnh: Chúng tôi đã có một trang web có sẵn trong nhiều phiên bản ngôn ngữ. Tuy nhiên, nội dung là như nhau. Mỗi phiên bản dịch của trang web có sẵn trên một tên miền phụ riêng biệt. Trên một số trang, chúng tôi sử dụng <link rel="canonical" …

11 seo  google  googlebot  internationalization 

Tôi đã chạy qua bài viết này trong tin tức SEO của tôi ngày hôm nay. Dường như điều đó ngụ ý rằng bạn có thể sử dụng các Noindex:chỉ thị bên cạnh các Disallow:chỉ thị tiêu chuẩn trong tệp robots.txt . Disallow: /page-one.html Noindex: /page-two.html Có vẻ như nó …

10 web-crawlers  robots.txt  googlebot  noindex 

Nếu tôi có nội dung đằng sau biểu mẫu POST (trong hộp chọn, trong trường hợp của tôi), Googlebot hoặc các Công cụ tìm kiếm khác có thể thu thập nội dung đằng sau biểu mẫu đó không? Ví dụ: nếu tôi có 4 bản dịch của một trang và …

10 seo  googlebot  forms  multilingual 

Tôi đã có một vài tập tin riêng tư trong một thư mục trong thư mục trường học của tôi. Bạn có thể thấy rằng các tệp tồn tại bằng cách truy cập myschool.edu/myusername/myfolder, nhưng cố gắng truy cập các tệp qua myschool.edu/myusername/myfolder/myfile.html trả về lỗi 403. Nhưng Google bằng …

10 web-crawlers  security  googlebot 

Vì vậy, bây giờ Google đã phản đối chương trình thu thập dữ liệu AJAX . Họ nói không nên bận tâm triển khai nó trong các trang web mới, bởi vì nó không còn cần thiết nữa vì Googlebot hiện không có vấn đề gì khi xem nội dung …

9 seo  web-crawlers  googlebot  ajax