Giải pháp xảo quyệt là tạo ra hai sơ đồ trang web. Thứ nhất là vì lợi ích của đối thủ, thứ hai là vì lợi ích của các công cụ tìm kiếm ưa thích của bạn. Theo cách nói của quân đội, sơ đồ trang web đầu tiên này là một điểm yếu.
'Điểm yếu' chứa cấu trúc trang web cơ bản của bạn, trang chủ, liên hệ với chúng tôi, về chúng tôi, các danh mục chính. Nó trông giống như thỏa thuận thực sự và sẽ hoạt động tốt trong các công cụ tìm kiếm tối nghĩa mà bạn không quan tâm. Nó cũng sẽ không có ích cho đối thủ cạnh tranh của bạn. Cho phép nó được lập chỉ mục để họ tìm thấy nó, đặt cho nó một cái tên rõ ràng như sitemap.xml.
Bây giờ tạo sơ đồ trang web thực sự của bạn với mã. Đặt tên cho nó như 'sản phẩm-thông tin-sitemap.xml' để nó là một tên hợp lý nhưng thực tế không dễ đoán hơn mật khẩu của bạn.
Trong cấu hình apache của bạn cho thư mục sơ đồ trang web, hãy đặt một cái gì đó để sơ đồ trang web thứ hai này có thể được truy cập bởi các công cụ tìm kiếm nhưng không được lập chỉ mục:
<IfModule mod_rewrite.c>
<Files product-information-sitemap.xml>
Header set X-Robots-Tag "noindex"
</Files>
</IfModule>
Bây giờ tạo mã để cập nhật, xem xét sơ đồ trang web thứ ba cho hình ảnh. Hạ cấp nó theo yêu cầu để tạo ra 'điểm yếu'. Cũng chú ý đến tem thời gian, Google cũng chú ý đến những dấu ấn đó và điều này rất quan trọng nếu sơ đồ trang web của bạn là một cái lớn.
Bây giờ, hãy tạo một công việc 'cron' để gửi sơ đồ trang web sản phẩm của bạn tới Google một cách thường xuyên. Trong mục crontab của bạn, hãy thêm một cái gì đó như thế này để gửi sơ đồ trang web thực sự của bạn mỗi tuần:
0 0 * * 0 wget www.google.com/webmasters/tools/ping?sitemap=http%3A%2F%2Fwww.example.com%2Fsitemaps%2Fproduct-information-sitemap.xml
Lưu ý rằng URL là URL được mã hóa.
Bạn cũng có thể gzip sơ đồ trang web của mình nếu kích thước là một vấn đề mặc dù máy chủ web của bạn sẽ phục vụ được nén đó nếu bạn đã bật.
Robot.txt của bạn không phải là điều gì đặc biệt, chỉ cần nó không xuất hiện trong sơ đồ trang web của bạn thì mọi chuyện sẽ ổn. Thực sự không cần phải gửi các tệp robot.txt khác nhau dựa trên các chuỗi tác nhân người dùng hoặc bất cứ điều gì quá phức tạp. Chỉ cần lấy nội dung quý giá của bạn vào một tệp bổ sung, không được quảng cáo và gửi nó cho Google trong một công việc định kỳ (thay vì chờ bot). Đơn giản.
