Làm thế nào để bạn nói với các công cụ tìm kiếm không lập chỉ mục trang này, nhưng có thể trong tương lai?

Công ty tôi làm việc có một hệ thống quản lý nội dung tự động xây dựng các trang cho một số nội dung nhất định.

Ví dụ: Có một trang trong hệ thống của chúng tôi có khả năng hiển thị cho bạn thông tin về bất kỳ nhà soạn nhạc nào trong cơ sở dữ liệu của chúng tôi, tùy thuộc vào các tham số đầu vào và thông tin chúng tôi có về chúng. Tuy nhiên, thỉnh thoảng, có một nhà soạn nhạc không có bất kỳ thông tin nào, do đó trang này hiển thị một trang trống. Làm thế nào chúng ta có thể bảo Google không lập chỉ mục trang tại thời điểm đó, nhưng có thể đôi khi trong tương lai?

Vì nội dung được tạo tự động, chúng tôi không thể chặn các trang hiển thị, vì thông tin về nhà soạn nhạc đó có thể bật lên bất cứ lúc nào.

Biên tập

Xin lưu ý rằng hệ thống CMS của chúng tôi thực hiện tìm nạp rất phức tạp và sâu sắc. Phần nội dung của trang S return trả về một số loại dữ liệu, do đó, việc chạy empty($content) ? xx : yynhư đã được đề xuất không phải là một sửa chữa nhanh chóng. Nếu nhà soạn nhạc không tồn tại, hệ thống sẽ không có trang dành cho nhà soạn nhạc đó, nếu nhà soạn nhạc tồn tại, hệ thống sẽ tồn tại. Khi trang của nhà soạn nhạc đó được hiển thị, hệ thống sẽ tìm kiếm mọi loại tham chiếu đến các nhà soạn nhạc, chẳng hạn như tác phẩm, để tạo một trang động.

Nếu không có nội dung cho một nhà soạn nhạc cụ thể, hãy sử dụng thẻ meta:

<meta name="robots" content="noindex, follow">

Ngay sau khi nội dung được thêm vào và thẻ meta bị xóa, Google sẽ lập chỉ mục cho nó.

Thí dụ:

<?php if(empty($composerInfoArray)): ?>
    <meta name="robots" content="noindex, follow">
<?php endif; ?>

Nếu các trang "mất tích" thực sự không chứa thông tin thực tế, nhưng chỉ là các trình giữ chỗ cho "có thể có một trang ở đây trong tương lai", thì tôi khuyên bạn nên định cấu hình máy chủ web của mình để trả về mã trạng thái 404 Không tìm thấy cho chúng.

Các trình duyệt vẫn sẽ hiển thị các trang như vậy cho người dùng, giống như chúng hiển thị các trang lỗi 404 bình thường (ít nhất là miễn là chúng đủ dài ), nhưng các công cụ tìm kiếm sẽ chỉ đơn giản coi trang đó như thể nó không tồn tại.

Đây là phương pháp được Wikipedia sử dụng cho các trang không tồn tại như trang này . Một trong những lợi thế của nó (bên cạnh đó, được cho là chính xác về mặt ngữ nghĩa) là nó đảm bảo rằng các công cụ tìm kiếm sẽ xử lý các trang đó chính xác giống như cách chúng thường xử lý các trang bị thiếu trả về mã trạng thái 404.

Một nhược điểm tiềm năng là, nếu bạn có liên kết đến các trang trả về mã trạng thái 404, chúng sẽ hiển thị dưới dạng "lỗi 404", ví dụ như trong Công cụ quản trị trang web của Google. Tuy nhiên, điều này là hoàn toàn bình thường, và không có gì phải lo lắng .

Để tiếp tục giúp các công cụ tìm kiếm khám phá các trang mới của bạn, khi họ nhận được một số nội dung thực tế và ngừng trả lại 404, bạn cũng nên duy trì sơ đồ trang web XML được cập nhật thường xuyên liệt kê tất cả các trang trên trang web của bạn có nội dung. Điều này cho phép Google và các công cụ tìm kiếm khác khám phá các trang mới trực tiếp thông qua bản đồ trang web, thay vì phải ngẫu nhiên bắt gặp chúng trong khi thu thập lại trang web của bạn.

Thi thiên Xem thêm: Không phải trang chỉ mục không có nội dung liên quan?

Cá nhân tôi sẽ xây dựng một thông điệp vào hệ thống để cho người dùng biết rằng trong khi yêu cầu của họ được hoàn thành, không có nhà soạn nhạc nào được tìm thấy cho các tham số đã cho. Điều này sẽ khiến người dùng không nghĩ rằng trang / liên kết bị "hỏng".

Nếu trang không có nội dung, hệ thống CMS của bạn sẽ không được liên kết với nó. Liên kết đến các trang trống là xấu cho cả người dùng và công cụ tìm kiếm.

Tôi thích đề xuất của Wayne Whitty về cách đặt thẻ meta trên trang của nhà soạn nhạc. Bạn nên tìm cách làm một cái gì đó tương tự ở nơi bạn liệt kê tất cả các nhà soạn nhạc và liên kết với họ:

<?php foreach ($composers as $composer) {
    if ($composer->countCount > 0)
         print "<li><a href=\"$composer->url\">$composer->name</a></li>";
    } 
} ?>

Nếu bạn làm điều này, thì các công cụ tìm kiếm sẽ không còn tìm thấy các trang trống để bắt đầu.