Google không thu thập dữ liệu tệp CDN

Tôi đã nhận thấy rằng Google Webmaster Tools đang báo cáo rất nhiều tài nguyên bị chặn trong trang web của tôi. Ngay bây giờ tất cả "tài nguyên bị chặn" là .css, .js và hình ảnh (.jpg, .png) mà tôi phục vụ từ Cloudfront CDN.

Tôi đã dành rất nhiều thời gian để thử nghiệm và cố gắng tìm hiểu tại sao google không thu thập dữ liệu các tệp này và báo cáo trạng thái "khối tài nguyên".

Hiện tại tôi phục vụ các tệp này từ một số tên máy chủ như: cdn1.example.com, cdn2.example.com, Ném

cdn1, cdn2 và các loại khác là CNAME cho tên phân phối trên nền tảng đám mây.

Kiểm tra: Tôi đã thử sử dụng trực tiếp bản phân phối trên nền tảng đám mây (không có CNAME) nhưng sự cố vẫn còn.

Hiện tại tệp robots.txt của tôi trông như thế này:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

#Google images
User-agent: Googlebot-Image
Disallow: /

User-agent: *
Disallow: /homepage
Disallow: /index.php*
Disallow: /uncategorized*
Disallow: /tag/*
Disallow: *feed
Disallow: */page/*
Disallow: *author*
Disallow: *archive*
Disallow: */category*
Disallow: *tag=*
Disallow: /test*
Allow: /

Và ví dụ về các tệp bị chặn trong một trang ví dụ:

• cdn1.example.com/wp-content/plugins/wp-forecast/wp-forecast-default.css

• cdn9.example.com/wp-content/plugins/bwp-minify/min/?f=wp-content/theme/magazine/css/font-awemme.min.css,wp-content/theme/magazine/css/responsive .css

• cdn5.example.com/wp-content/theme/magazine/images/nobg.png

• cdn6.example.com/wp-content/plugins/floating-social-bar/images/fsb-sprite.png

• cdn5.example.com/wp-content/uploads/2013/11/Design-Hotel-3-80x80.jpg

• cdn5.example.com/wp-content/uploads/2013/11/Marta-Hotel-7-270x225.jpg

Tôi thậm chí đã cố gắng cho phép mọi thứ trong robot.txt nhưng tôi luôn có kết quả tương tự.

Tôi cũng đã xem xét kỹ các cài đặt CloudFront trong Amazon và không thấy gì có thể liên quan (Tôi không sử dụng và không bao giờ sử dụng tùy chọn: "Hạn chế quyền truy cập của người xem (Sử dụng URL đã ký hoặc Cookie đã ký)".

Ngay bây giờ tôi đã dành rất nhiều thời gian để xem xét điều này và không có thêm ý tưởng.

Ai đó có thể nghĩ ra lý do tại sao Googlebot sẽ bị chặn thu thập dữ liệu các tệp được lưu trữ trong Amazon CloudFront không?

Vì vậy, giải pháp có vẻ là Amazon cloudfront cũng đánh giá tôi robots.txtvà bằng cách nào đó sử dụng các quy tắc cú pháp khác nhau từ google.

Phiên bản làm việc của tôi robots.txtlà như sau:

User-agent: Googlebot-Image
Disallow: /
User-agent: *
Disallow: /homepage
Disallow: /uncategorized
Disallow: /page
Disallow: /category
Disallow: /author
Disallow: /feed
Disallow: /tags
Disallow: /test

Một lưu ý rất quan trọng để nói rằng điều này không thực hiện các chức năng chính xác như trước đây. Trong thực tế, tôi đã lấy ra tất cả các dòng trống, ký tự đại diện và chỉ thị "cho phép". Có nghĩa là kết quả cuối cùng không giống nhau ... nhưng tôi nghĩ là đủ gần với tôi. Ví dụ: nó không loại trừ các trang thẻ khi được truyền trong chuỗi truy vấn ...

Ba lưu ý quan trọng:

1. Nếu bạn đang thử nghiệm điều này, đừng quên vô hiệu hóa robots.txttrong phân phối trên nền tảng đám mây cho mỗi lần lặp. Chỉ kiểm tra bạn đang được phục vụ phiên bản cuối cùng là không đủ.

2. Tôi không thể tìm thấy bất cứ nơi nào một định nghĩa về robot.txtcú pháp được hiểu bởi amazon cloudfront. Vì vậy, nó đã được thử nghiệm và lỗi.

3. Để kiểm tra kết quả, hãy sử dụng công cụ "tìm nạp và kết xuất" của quản trị trang web google và người kiểm tra thân thiện với thiết bị di động của họ ( https://www.google.com/webmasters/tools/mobile-friendly/ )

Tôi không hiểu tại sao cloudfront đang xác nhận và đánh giá của tôi robots.txt. Tập tin này là một "thỏa thuận" với tôi và các trình thu thập thông tin đến trang web của tôi. Amazon không có kinh doanh ở giữa. Lộn xộn với tôi robots.txtchỉ là ngu ngốc.

Tôi không bao giờ nghĩ rằng đám mây có thể đoán được robots.txtcú pháp của tôi .

Tạo một tệp robots.txt trong một thùng.

Tạo một nguồn gốc khác cho phân phối trên nền tảng đám mây của bạn.

Đặt mức độ ưu tiên của nhóm của bạn cao hơn trang web của bạn.

Vô hiệu hóa tệp robots.txt của trang web của bạn trên Cloudfront.

Sau khi thực hiện các thao tác trên, Google sẽ đọc các trang web robots.txt khi thu thập dữ liệu trang web của bạn và sẽ thấy các robot.txt khác nhau khi theo các liên kết từ cdn của bạn.

Google không chặn các tài nguyên bên ngoài được lập chỉ mục thông qua việc sử dụng robot.txt trong thư mục gốc của trang web chính. Sử dụng tên miền phụ, cdn hoặc loại khác được phân loại là tên miền bên ngoài, cách duy nhất để chặn nội dung là sử dụng phản hồi tiêu đề trên tệp do chính CDN cung cấp hoặc bằng cách sử dụng tệp robots.txt trên miền cdn hoặc tên miền phụ .

Sử dụng:

#Google images
User-agent: Googlebot-Image
Disallow: /

Chỉ nên chặn hình ảnh là cục bộ, bạn sẽ cần phải làm tương tự trên CDN.

Có khả năng đây là sự cố phản hồi tiêu đề và bạn nên thực hiện 'HIỆN TẠI' trên một trong các tệp trên CDN. Nó sẽ trông giống như:

HTTP/1.0 200 OK
Cache-Control: max-age=86400, public
Date: Thu, 10 May 2012 07:43:51 GMT
ETag: b784a8d162cd0b45fcb6d8933e8640b457392b46
Last-Modified: Tue, 08 May 2012 16:46:33 GMT
X-Powered-By: Express
Age: 7
Content-Length: 0
X-Cache: Hit from cloudfront
X-Amz-Cf-Id: V_da8LHRj269JyqkEO143FLpm8kS7xRh4Wa5acB6xa0Qz3rW3P7-Uw==,iFg6qa2KnhUTQ_xRjuhgUIhj8ubAiBrCs6TXJ_L66YJR583xXWAy-Q==
Via: 1.0 d2625240b33e8b85b3cbea9bb40abb10.cloudfront.net (CloudFront)
Connection: close

Những điều cần chú ý là:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: googlebot: noindex

Phát hiện ra vấn đề: CloudFront đọc tệp robots.txt và ngăn việc phân phát nội dung, nhưng nó phân tích một số cách khác với những gì robot nên làm, tôi đoán vậy.

Chẳng hạn, nội dung sau trên robot.txt:

Disallow: */wp-contents/ Allow: */wp-contents/themes/

Khi Googlebot có được chính nó, nó sẽ lập chỉ mục cho nó; Khi CloudFront đọc nó, nó không xem xét chỉ thị 'Cho phép' và cấm phục vụ mọi thứ bên trong*/wp-contents/themes/ .

Câu trả lời ngắn: kiểm tra tệp robots.txt trên bản phân phối CloudFront của bạn, đây có thể là vấn đề. Vô hiệu hóa và cập nhật nó với một phiên bản sửa chữa và nó sẽ hoạt động!