Tôi có nên đặt tiêu đề NOINDEX cho các tệp JS, CSS và hình ảnh của mình không?


7

Có bất kỳ tác hại nào nếu trang web của tôi gửi tiêu đề NOINDEX cho tất cả các tài sản tĩnh của tôi không?

Đối với các tệp hình ảnh, tôi đề cập đến những tệp vô giá trị, ví dụ: hình nền, hình ảnh nút, v.v.

Cập nhật: thêm thông tin cơ bản

Tôi có mối quan tâm này là vì gần đây Google cho biết họ cũng thực thi JS và họ có thể tìm nạp nội dung thông qua Ajax. Vì vậy, ví dụ, nếu tôi gửi noindex cho tập lệnh jQuery của mình, vì vậy Google sẽ không thể sử dụng chúng để tải Ajax, tôi cho rằng nó không tốt cho SEO trang web của tôi, phải không?


1
Vô nghĩa vì Google không hoặc không nên lập chỉ mục các tài sản JS / CSS.
Simon Hayter

1
@bybe Google làm và nên lập chỉ mục các tài sản JS / CSS.
Mary Popovych

Câu trả lời:


8

(Tôi làm việc với các nhóm thu thập dữ liệu & lập chỉ mục của Google) Hãy bắt đầu với một cách dễ dàng: giả sử bạn không muốn các tệp này được sử dụng để lập chỉ mục, bạn chỉ có thể sử dụng tệp robot.txt để không cho phép thu thập thông tin và phản hồi. Điều này ngăn Googlebot truy cập các URL và tất nhiên cũng sẽ ngăn không cho nó sử dụng chúng cho bất kỳ điều gì khác. Các URL có thể được lập chỉ mục (giống như URL dựa trên các yếu tố như liên kết đến URL mà không được thu thập thông tin), nhưng chúng không thể được xử lý hoặc thực thi. Tài liệu tham khảo robot.txt của chúng tôi có nhiều chi tiết cụ thể hơn cho những ai yêu thích chi tiết.

Mặt khác, nếu bạn muốn nội dung (và có khả năng là các phản hồi, v.v.) được lập chỉ mục: Chúng tôi khuyên bạn không nên sử dụng tiêu đề HTTP noindex x-robot-tag cho nội dung được nhúng (JavaScript, CSS, phản hồi, v.v.) nếu bạn ' d giống như nó có khả năng được sử dụng để lập chỉ mục. Ví dụ: nếu tệp JavaScript sử dụng yêu cầu AJAX để truy xuất nội dung từ máy chủ của bạn sau đó được hiển thị, thì tất cả các yếu tố đó trước tiên sẽ cần được thu thập thông tin (không được tệp robot.txt không cho phép) và chúng tôi khuyên bạn nên sử dụng ' được phục vụ với tiêu đề HTTP "noindex" x-robot-tag. Chúng tôi không thể đảm bảo rằng chúng tôi có thể xử lý và lập chỉ mục tất cả JavaScript, nhưng các hệ thống của chúng tôi đang ngày càng tốt hơn theo thời gian.

Nói chung, hầu hết các trang web không liên kết đến các tệp JavaScript hoặc CSS của chúng bằng các liên kết HTML thông thường, chúng chỉ tham chiếu chúng trong các tệp HTML của chúng. Do đó, phần lớn chúng tôi sẽ không lập chỉ mục các tệp đó một cách riêng biệt (và ngay cả khi chúng tôi đã làm, trang web của bạn rất có thể có nội dung phù hợp hơn những gì chúng tôi tìm thấy trong các tệp JavaScript :)).


John, bạn có thể muốn cập nhật câu trả lời này. "Tài nguyên bị chặn", trừ khi tôi nhầm, tôi sẽ không muốn chặn biểu định kiểu cần thiết để hiển thị đúng trang web của mình.
Oskar Skog

5

Điều đầu tiên đầu tiên. Google không lập chỉ mục các loại tệp nhất định như CSS, JavaScript, hình ảnh, v.v. Nhưng, bạn nói, Google không lập chỉ mục hình ảnh. Vâng có và không. Nó lập chỉ mục hình ảnh bằng cách sử dụng văn bản xung quanh hình ảnh và các giá trị liên kết được liên kết với hình ảnh. Có, trong quá trình tăng cường trong khi cập nhật khả năng của họ, Google đã lập chỉ mục một số các tệp này, nhưng Google không xem đó là nội dung hoặc có giá trị trực tiếp. Điều này đã được phát hiện với nhiều phiên bản của cùng một JavaScript trong chỉ mục của nó và cuộc trò chuyện bắt đầu một cách nghiêm túc. Tôi cũng đã tìm thấy tệp CSS của mình được lập chỉ mục từ nhiều năm trước, nhưng nó đã biến mất từ ​​lâu. Đó là năm 2009! Đó là tin cũ mà không còn áp dụng. Thế là xong. Không có gì phải lo lắng ở đây.

Thứ hai, Google không thể truy cập tất cả các phần tử Ajax - ít nhất là không phải (các) hộp văn bản hỗ trợ Ajax như những gì Google sử dụng cho tìm kiếm. Trên thực tế, họ mô tả cách làm cho các phần tử Ajax có thể thu thập dữ liệu tại đây: https://developers.google.com/webmasters/ajax-crawling/ . Google không thể và sẽ không nhập các giá trị vào hộp văn bản hỗ trợ Ajax để tìm kiếm nội dung. Họ thực sự nói như vậy. Phạm vi của Google Ajax được xác định rõ và bắt đầu với Facebook và Disqus để nhận xét. http://www.seroundtable.com/google-ajax-indexing-14241.html

Một phần của sự nhầm lẫn là các báo cáo ban đầu rằng Google thực thi JavaScript và có thể truy cập Ajax. Trường hợp đây là trường hợp đúng là nơi JavaScript tạo URL. Điều này là vì ba lý do; một để tìm kiếm sâu hơn và không bỏ lỡ các liên kết hợp lệ, hai để đánh giá JavaScript khi tải từ khóa và ba để kiểm tra sự phình to của JavaScript. Sau đó, các lý do khác đã được thêm vào như xem trước trang và đánh giá thời gian phản hồi. Nó cho phép Google lập chỉ mục đầy đủ tiềm năng của một trang. Bạn có thể xem phạm vi đầy đủ tại đây: https://www.distiled.net/blog/seo/google-stop-playing-the-jig-is-still-up-guest-post/

Để rõ ràng, cho đến nay Google không lạm dụng các trang web và bạn không có gì phải lo lắng. Đây không phải là lập chỉ mục các yếu tố mà bạn không muốn lập chỉ mục. Tuy nhiên, nếu bạn muốn Google và những người khác, BTW- Bing cũng thực hiện điều này, từ việc truy cập các yếu tố này, thì Google khuyên bạn nên đưa các dòng cụ thể vào từng thành phần / tài nguyên trong tệp robot.txt của bạn như bình thường. Bạn có thể đọc đề xuất khoảng một nửa trang này: http://googlewebmastercentral.blogspot.com/2011/11/get-post-and-safely-surfaces-more-of.html .

Tôi sẽ cảnh báo bạn chống lại điều này tuy nhiên. Trừ khi bạn gặp vấn đề, tôi sẽ không thực hiện bất kỳ hành động nào. Lý do trả lời phần SEO của câu hỏi của bạn. Chặn một số yếu tố có thể tác động tiêu cực đến Google và những người khác khi lập chỉ mục trang web của bạn đúng cách và trả lại kết quả hoàn toàn phù hợp. Tuy nhiên, nếu bạn có một yếu tố tin tức JavaScript (tin tức thực tế chứ không phải tin tức trang web), chẳng hạn, điều đó có thể có hiệu lực làm lệch kết quả tìm kiếm của bạn. Vì vậy, trong trường hợp này, bạn có thể muốn hạn chế quyền truy cập vào JavaScript bằng tệp robots.txt. Đây là nơi bạn phải đặt mũ suy nghĩ của bạn. Hãy dành thời gian của bạn. Không có khủng hoảng để xử lý. Khi bạn đã đánh giá trang web của mình, sau đó đưa ra quyết định sáng suốt và hành động. Hầu hết,


3

TLDR; Không

Vì vậy, ví dụ, nếu tôi gửi noindex cho tập lệnh jQuery của mình, vì vậy Google sẽ không thể sử dụng chúng để tải Ajax, tôi cho rằng nó không tốt cho SEO trang web của tôi, phải không?

Không, bạn có vẻ bối rối những gì NOINDEX thực sự làm.

NOINDEX : Cho phép thu thập thông tin, theo các liên kết trong đó. Không cho phép lập chỉ mục (sẽ tự động bao gồm NOARCHIVE và NOSNIPPET)

NOFOLLOW : Cho phép lập chỉ mục (chúng thường không nhưng có thể). Không cho phép thu thập thông tin, theo các liên kết, hiển thị đoạn trích.

Những gì Google khuyến nghị là cho phép các bot "theo dõi" trang. Nếu bạn đặt thẻ tiêu đề NOINDEX, nó cho phép Google theo dõi / thu thập dữ liệu trang nhưng không lập chỉ mục.

Do đó, tất cả những gì bạn nên làm là KHÔNG đặt thẻ "NOFOLLOW". Điều này sẽ chặn các bot để theo dõi và phân tích kịch bản. Đặt thẻ NOINDEX là tốt.

PS: Nó tương đương với việc đặt thẻ tiêu đề NOINDEX thành các tệp như "robot.txt" và "sitemap.xml ". Bởi vì Google không lập chỉ mục cho họ khá thường xuyên.

Ví dụ: www.google.com.vn/search?q=filetype%3Atxt+%22robots%22&gws_rd=ssl

Để biết thêm:


1

nếu tôi gửi noindex cho tập lệnh jQuery của mình, vì vậy Google sẽ không thể sử dụng chúng để tải Ajax, tôi cho rằng nó không tốt cho SEO trang web của tôi, phải không?

Bạn nói đúng, điều này không tốt. Google biết rất rõ cách sử dụng các tệp CSS và JavaScript của bạn để thể hiện trang web của bạn tốt hơn trong kết quả tìm kiếm.

Xem bài học này với Matt Cutts về CSS, JavaScript, thu thập dữ liệu và lập chỉ mục: https://www.youtube.com/watch?v=m293K8JR2j4


1

Ngày nay, đừng lo lắng về điều đó. Mặc dù chúng tôi không đặt tiêu đề http của robot x-noindex cho tệp tĩnh css, js, Googlebot biết tệp nào sẽ được lập chỉ mục hay không. Ngoại trừ hình ảnh, bởi vì hình ảnh có thể lấy lưu lượng truy cập không phải trả tiền cho trang web của chúng tôi.

Btw, Vì vậy, nhiều người vẫn không hiểu tệp robot.txt và thẻ noindex là gì. Rô bốt tập tin văn bản những gì nên thu thập thông tin và những gì không nên thu thập dữ liệu, để lập chỉ mục? trở lại cài đặt của chúng tôi Trong khi thẻ noindex là những gì nên lập chỉ mục và những gì không lập chỉ mục.

Robots.txt file = Vui lòng đến nhà tôi, bạn có thể thấy cái này, cái này nhưng không phải cái này, bạn không được phép xem phòng này.

Thẻ Noindex (bao gồm tiêu đề http của robot x): bạn có thể thấy toàn bộ nội dung của ngôi nhà này nhưng vui lòng không mở nó cho người khác (giữ bí mật) cho việc này, ...

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.