Làm cách nào để ngăn chặn các lỗi Soft 404 chồng chất cho trang No No results?

Gần đây, tôi nhận thấy rằng tôi có một danh sách ngày càng nhiều lỗi Soft 404 trong Công cụ quản trị trang web của Google. Tất cả chúng đều dành cho các trang kết quả tìm kiếm được tạo động báo cáo "Không tìm thấy kết quả khớp".

Tôi làm hiểu những gì Google có nghĩa là bởi Soft 404 và tại sao họ được báo cáo cho các trang này. Vì vậy, tôi đã thêm <meta name="robots" content="noindex">vào các trang này.

Tuy nhiên, Google vẫn báo cáo lỗi Soft 404 mới cho các trang đang sử dụng thẻ meta noindex .

Tại sao Google báo cáo bất kỳ lỗi nào cho một trang mà tôi đã nói với họ không lập chỉ mục?

Vấn đề là với tất cả các lỗi không mong muốn này, tôi không thể biết liệu có bất kỳ vấn đề thực sự nào cần được khắc phục hay không.

Một số người đã nói rằng những trang này sẽ trả về mã trạng thái 404. Nhưng điều đó chỉ chuyển vấn đề sang tab lỗi 404. Ngoài ra, Google trả về mã trạng thái 200 cho trang không có kết quả của họ .

Tôi không muốn chặn quyền truy cập bằng robot.txt vì tôi muốn các liên kết trên các trang này được theo dõi và tôi muốn Google thấy thẻ meta noindex . Ngoài ra, không có mẫu nào tôi có thể sử dụng để chặn chúng.

Google đã tìm thấy các URL này ở vị trí đầu tiên vì nội dung đã từng tồn tại nhưng sau đó đã bị xóa. Tôi không thể trả lại mã trạng thái 410, vì mã PHP của tôi không có cách nào biết được lý do tại sao không tìm thấy kết quả.

Có bất cứ điều gì tôi có thể làm để làm cho nó dễ dàng hơn để nhìn thấy các vấn đề thực sự?

Bạn nên ngăn Google thu thập dữ liệu các trang tìm kiếm trang web. Google không muốn thu thập tìm kiếm trang web của bạn ở tất cả . Dưới đây là bài viết trên blog Matt Cutts của Google về vấn đề: Kết quả tìm kiếm trong kết quả tìm kiếm của Matt Cutts vào ngày 10 tháng 3 năm 2007 . Google hiện đang tích cực xử phạt các trang web cho phép thu thập kết quả tìm kiếm trang web của họ và xuất hiện trong SERPs của Google. Bằng cách cho phép Googlebot thu thập dữ liệu các trang kết quả tìm kiếm của bạn, bạn sẽ gặp rủi ro với tất cả lưu lượng truy cập giới thiệu Google của mình. Một mẹo ưa thích của người đánh giá Google là sử dụng tìm kiếm trang web của bạn cho các cụm từ spam như "Viagra". Khi họ thấy một trang có thể thu thập thông tin là kết quả (ngay cả khi nó nói "không tìm thấy kết quả nào cho Viagra"), họ sẽ áp dụng hình phạt thủ công đối với trang web của bạn dưới dạng trang web spam.

Bạn nên đặt tìm kiếm trang web của bạn vào robots.txt. Chỉ cần đảm bảo rằng Googlebot vẫn có thể thu thập dữ liệu các trang nội dung của bạn. Sau đó, bạn sẽ ngừng nhận được các lỗi mềm 404 mới được báo cáo.

Một số lượng lớn lỗi 404 (thậm chí lỗi 404 mềm) không làm tổn thương thứ hạng trang web của bạn. Google báo cáo lỗi trên bất kỳ trang nào họ có thể tìm và thu thập dữ liệu, cho dù bạn có muốn lập chỉ mục hay không và thậm chí bạn có liên kết với nó hay không. Họ làm điều này bởi vì các báo cáo lỗi chỉ dành cho lợi ích của bạn và họ cảm thấy như bạn nên được thông báo đầy đủ.

Đây là những gì John Mueller của Google nói về nó :

1. Lỗi 404 trên các URL không hợp lệ không gây hại cho việc lập chỉ mục hoặc xếp hạng trang web của bạn dưới bất kỳ hình thức nào. Không có vấn đề gì nếu có 100 hoặc 10 triệu, chúng sẽ không gây hại cho thứ hạng trang web của bạn. http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. Trong một số trường hợp, lỗi thu thập dữ liệu có thể đến từ một vấn đề cấu trúc hợp pháp trong trang web hoặc CMS của bạn. Làm thế nào bạn nói? Kiểm tra kỹ nguồn gốc của lỗi thu thập dữ liệu. Nếu có một liên kết bị hỏng trên trang web của bạn, trong HTML tĩnh của trang của bạn, thì đó luôn là giá trị sửa chữa. (cảm ơn + Martino Mosna)
3. Còn những URL thú vị bị phá vỡ rõ ràng thì sao? Khi các thuật toán của chúng tôi thích trang web của bạn, họ có thể cố gắng tìm nội dung tuyệt vời hơn trên đó, ví dụ như bằng cách cố gắng khám phá các URL mới trong JavaScript. Nếu chúng tôi thử những URL URL đó và tìm thấy 404, điều đó thật tuyệt vời và được mong đợi. Chúng tôi chỉ không muốn bỏ lỡ bất cứ điều gì quan trọng (chèn meme Googlebot được đính kèm quá mức ở đây). http://support.google.com/webmasters/ Phần mềm 1154698
4. Bạn không cần sửa lỗi thu thập dữ liệu trong Công cụ quản trị trang web. Dấu hiệu của tính năng là một tính năng cố định trên mạng chỉ để giúp bạn, nếu bạn muốn theo dõi tiến trình của mình ở đó; nó không thay đổi bất cứ điều gì trong đường dẫn tìm kiếm trên web của chúng tôi, vì vậy hãy bỏ qua nếu bạn không cần nó. http://support.google.com/webmasters/ khác2467403
5. Chúng tôi liệt kê các lỗi thu thập dữ liệu trong Công cụ quản trị trang web theo mức độ ưu tiên, dựa trên một số yếu tố. Nếu trang đầu tiên của lỗi thu thập thông tin rõ ràng không liên quan, có lẽ bạn sẽ không tìm thấy lỗi thu thập dữ liệu quan trọng trên các trang tiếp theo. http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. Không cần sửa lỗi thu thập dữ liệu trên trang web của bạn. Tìm kiếm 404 là bình thường và mong đợi của một trang web được cấu hình tốt. Nếu bạn có một URL mới tương đương, thì chuyển hướng đến đó là một cách tốt. Mặt khác, bạn không nên tạo nội dung giả mạo, bạn không nên chuyển hướng đến trang chủ của mình, bạn không nên robot.txt không cho phép các URL đó - tất cả những điều này khiến chúng tôi khó nhận ra cấu trúc trang web của bạn và xử lý đúng cách. Chúng tôi gọi những lỗi 404 mềm 404 này. http://support.google.com/webmasters/ Phần mềm181708
7. Rõ ràng - nếu các lỗi thu thập dữ liệu này hiển thị cho các URL mà bạn quan tâm, có lẽ các URL trong tệp Sơ đồ trang web của bạn, thì đó là điều bạn nên hành động ngay lập tức. Nếu Googlebot không thể thu thập dữ liệu các URL quan trọng của bạn, thì chúng có thể bị loại khỏi kết quả tìm kiếm của chúng tôi và người dùng cũng không thể truy cập chúng.