Tôi đã sử dụng dòng sau trong các <head>trang web của mình trong nhiều năm:
<meta name="revisit-after" content="3 days" />
Gần đây tôi đã phát hiện ra rằng đó không phải là một trong những thẻ meta mà Google hiểu, điều mà tôi muốn nói là không có điểm nào bao gồm nó và nó đã không hoạt động tốt trong nhiều năm.
Tần suất các công cụ tìm kiếm thu thập dữ liệu một trang web theo mặc định và những cách đáng tin cậy nào để tăng hoặc giảm tần suất đó?
Câu trả lời:
Bạn có thể kiểm soát tốc độ Google thu thập dữ liệu trang web của bạn trong Công cụ quản trị trang web của Google .
Tốc độ thu thập dữ liệu cho trang web của bạn xác định thời gian được Googlebot sử dụng để thu thập dữ liệu trang web của bạn mỗi lần truy cập. Mục tiêu của chúng tôi là thu thập dữ liệu trang web của bạn một cách triệt để (để các trang của bạn có thể được lập chỉ mục và trả lại trong kết quả tìm kiếm!) Mà không tạo ra tác động đáng chú ý đến băng thông máy chủ của bạn. Mặc dù hầu hết các quản trị web đều ổn khi sử dụng cài đặt thu thập thông tin mặc định (nghĩa là không cần thay đổi, nhiều hơn về điều đó bên dưới), một số quản trị web có thể có các nhu cầu cụ thể hơn.
Googlebot sử dụng các thuật toán tinh vi để xác định mức độ thu thập dữ liệu của mỗi trang web mà nó truy cập. Đối với phần lớn các trang web, có lẽ tốt nhất là chọn tùy chọn "Để Google xác định tốc độ thu thập dữ liệu của tôi", đây là mặc định. Tuy nhiên, nếu bạn là người dùng nâng cao hoặc nếu bạn gặp phải vấn đề về băng thông với máy chủ của mình, bạn có thể tùy chỉnh tốc độ thu thập dữ liệu của mình theo tốc độ tối ưu nhất cho (các) máy chủ web của bạn. Tùy chọn tốc độ thu thập thông tin tùy chỉnh cho phép bạn cung cấp thông tin chi tiết về Googlebot cho số lượng yêu cầu tối đa mỗi giây và số giây giữa các yêu cầu mà bạn cảm thấy phù hợp nhất với môi trường của mình.
Googlebot xác định phạm vi giá trị tốc độ thu thập dữ liệu bạn sẽ có trong Công cụ quản trị trang web. Điều này dựa trên sự hiểu biết của chúng tôi về khả năng của máy chủ của bạn. Phạm vi này có thể thay đổi từ trang này sang trang khác và theo thời gian dựa trên một số yếu tố. Đặt tốc độ thu thập dữ liệu thành giá trị thấp hơn giá trị mặc định có thể ảnh hưởng đến mức độ bao phủ và độ mới của trang web của bạn trong kết quả tìm kiếm của Google. Tuy nhiên, đặt nó thành giá trị cao hơn mặc định sẽ không cải thiện phạm vi hoặc xếp hạng của bạn. Nếu bạn đặt tốc độ thu thập thông tin tùy chỉnh, tốc độ mới sẽ có hiệu lực trong 90 ngày sau đó, nó sẽ đặt lại giá trị được đề xuất của Google.
Bạn chỉ có thể sử dụng cài đặt này cho các trang web cấp gốc và các trang web không được lưu trữ trên một tên miền lớn như blogspot.com (chúng tôi có các cài đặt đặc biệt được chỉ định cho chúng). Để kiểm tra cài đặt tốc độ thu thập dữ liệu, đăng nhập vào Công cụ quản trị trang web và truy cập tab Cài đặt. Nếu bạn có thêm câu hỏi, hãy truy cập Trung tâm trợ giúp của quản trị viên web để tìm hiểu thêm về cách Google thu thập dữ liệu trang web của bạn hoặc đăng câu hỏi của bạn trong Diễn đàn trợ giúp của quản trị viên web.
Khác sau đó bạn có thể cần phải tạo hệ thống lọc của riêng mình để phát hiện ra các tác nhân người dùng của họ và cho phép hoặc từ chối các bot công cụ tìm kiếm dựa trên tác nhân người dùng của họ. Nhưng điều đó sẽ chỉ ảnh hưởng đến việc giảm tần suất của họ.
Để trả lời phần thứ hai của câu hỏi của bạn, bạn có thể nói với Google bằng Công cụ quản trị trang web
Để thay đổi tốc độ thu thập dữ liệu:
Trên trang chủ Công cụ quản trị trang web, nhấp vào trang web bạn muốn.
Trong cấu hình trang web, nhấp vào Cài đặt.
Trong phần Tốc độ thu thập dữ liệu, chọn tùy chọn bạn muốn.
https://www.google.com/support/webmasters/ Coins48620&hl=vi_GB
Trên Câu hỏi thường gặp về Bing, nó đề cập đến bài đăng này khuyến nghị cài đặtCrawl-Delay: X trong đó x là số giây chờ giữa mỗi yêu cầu.
Tất nhiên sơ đồ trang web cho biết tần suất các trang thay đổi.