Googlebot gửi hàng ngàn yêu cầu đến công cụ định vị bản đồ của chúng tôi và sử dụng hết hạn ngạch API

Chúng tôi có một trang định vị cửa hàng trên trang web của khách hàng của chúng tôi. Người dùng cuối nhập mã bưu điện của họ và bán kính tìm kiếm và chúng tôi hiển thị kết quả trên Google Map.

Gần đây, chúng tôi đã bắt đầu nhận thấy rằng trang web đã đạt giới hạn tìm kiếm bản đồ miễn phí (khoảng 25.000 mỗi 24 giờ) mà không có sự gia tăng đáng chú ý về lưu lượng truy cập tổng thể. Tôi đã bật một số bản ghi bổ sung để thử và tìm xem vấn đề là gì.

Hóa ra Googlebot đang đẩy mạnh hàng ngàn tìm kiếm trên bản đồ này. Đây là một mẫu nhỏ:

2017-07-09 23: 56: 22.719 [7] INFO ShopLanding - [Chủ đề 41] Google Maps: tìm kiếm G23 đã nhận được OK từ 66.249.66.221
2017-07-09 23: 56: 35,469 [7] INFO ShopLanding - [Chủ đề 10] Google Maps: tìm kiếm CA6 đã nhận được OK từ 66.249.66.221
2017-07-09 23: 57: 24.563 [7] INFO ShopLanding - [Chủ đề 48] Google Maps: tìm kiếm BN14 đã nhận được OK từ 66.249.66.223
2017-07-09 23: 58: 00.970 [7] INFO ShopLanding - [Chủ đề 42] Google Maps: tìm kiếm CB4 đã nhận được OK từ 66.249.66.221
2017-07-09 23: 58: 13.064 [7] INFO ShopLanding - [Chủ đề 54] Google Maps: tìm kiếm DY9 đã nhận được OK từ 66.249.66.221
2017-07-09 23: 59: 18.722 [7] INFO ShopLanding - [Chủ đề 59] Google Maps: tìm kiếm TS3 đã nhận được OK từ 66.249.66.223
2017-07-09 23: 59: 53.223 [7] INFO ShopLanding - [Chủ đề 49] Google Maps: tìm kiếm S45 đã nhận được OK từ 66.249.66.221

Có cách nào để tôi có thể ngăn Google vượt qua rất nhiều yêu cầu không? Đây là ăn một tỷ lệ đáng kể của trợ cấp miễn phí. Tìm kiếm hợp pháp dường như dưới 200 mỗi ngày.

BIÊN TẬP

Trang web được xây dựng trên C # ASP.NET. Tìm kiếm cửa hàng đang sử dụng POST, URL không thay đổi khi gửi. Tôi có thể đăng một mẫu nhật ký IIS vào sáng mai để xác nhận hành vi này.

web-crawlers google-maps

— Burgi
nguồn

Các mục Googlebot đang tìm kiếm có ý nghĩa gì không? "G23" và "CA6" không có ý nghĩa gì với tôi. Googlebot thường không gửi dữ liệu ngẫu nhiên cho các biểu mẫu. Nó thường chỉ thu thập thông tin thả xuống tùy chọn, dữ liệu điền sẵn hoặc liên kết truy vấn. Là những giá trị trên trang web ở đâu đó như một danh sách? Ngoài ra, URL của bạn trông như thế nào đối với các yêu cầu này?

— Stephen Ostermiller

@StephenOstermiller họ là một phần mã bưu điện của Vương quốc Anh, cụ thể là mã định danh quận. Đây phải là những POSTyêu cầu cho AJAX, tôi sẽ kiểm tra nhật ký IIS.

— Burgi

Ngoài ra: "Tìm kiếm bản đồ miễn phí" này là gì?

— MrWhite

@SamWeaver IP phân giải dưới dạng Google bot và mục nhập nhật ký IIS tương ứng có Googlebot UserAgent. Phải thừa nhận rằng cả hai đều có thể bị giả mạo.

— Burgi

Công cụ định vị cửa hàng của bạn có sử dụng chuỗi truy vấn (yêu cầu GET) không? Cấu trúc URL thô của trang định vị cửa hàng của bạn là gì, nó có thay đổi (chuỗi truy vấn) với tìm kiếm của người dùng không? Nếu bạn có thể giải thích chi tiết hơn về mặt chức năng / công nghệ thì nó có thể được trả lời theo cách hiệu quả hơn.

— TopQnA

Để ngăn googlebot tìm kiếm thông qua googlemaps, hãy đặt một tệp có tên robots.txttrong thư mục gốc của tên miền của bạn. ví dụ: https://www.wikipedia.org/robots.txt

Robot.txt mẫu:

User-agent: Googlebot
Disallow: /search-store/

Trong đó / search-store / là trang gửi yêu cầu tới google maps.

Nếu nó xảy ra là một cái gì đó khác ngoài Googlebot, bạn có thể thử vô hiệu hóa tất cả thu thập thông tin đến trang này bằng:

User-agent: *
Disallow: /search-store/

Lưu ý rằng nó sẽ không dừng các tập lệnh sai mà bỏ qua robot.txt.

— satibel
nguồn

Lưu ý rằng dù sao bạn cũng không muốn Google và các công cụ tìm kiếm khác làm hỏng các trang này!

— Ari Davidow

Tôi không chắc chắn nếu chặn toàn bộ cửa hàng tìm kiếm là tùy chọn phù hợp, chúng tôi có thể cần hiểu chuỗi truy vấn, v.v. Ý nghĩa, hãy để Google đọc nhưng không gửi quá nhiều yêu cầu. Chặn toàn bộ cửa hàng tìm kiếm nên là lựa chọn cuối cùng.

— TopQnA

Tỷ lệ giới hạn tìm kiếm có thể là một lựa chọn khác, giả sử sau 25 lần tìm kiếm, bạn cần hạ nhiệt trong một giờ giữa mỗi lần tìm kiếm. Nó sẽ ngăn chặn bot và những người bất chính, nhưng không phải người dùng thường xuyên.

— satibel

Nếu trang chỉ để tìm kiếm vị trí của một cửa hàng, tôi nghi ngờ rằng nó sẽ hữu ích khi được lập chỉ mục ở vị trí đầu tiên. Nó sẽ phụ thuộc vào cấu trúc trang web. Ngoài ra robot.txt dễ dàng hơn / nhanh hơn (do đó rẻ hơn) để thực hiện như một cách khắc phục nhanh hơn là mất vài giờ để giới hạn tỷ lệ. @TopQnA

— satibel

Chà, vị trí cửa hàng rất quan trọng đối với người dùng và hầu hết mọi người tìm kiếm cửa hàng có tham chiếu đến vị trí trong Google và nếu công cụ định vị cửa hàng có thể tạo bản đồ với thông tin hữu ích với URL duy nhất cho mỗi cửa hàng thì nó sẽ hữu ích hơn nhiều cho người dùng. Và đó là lý do tại sao chặn nên là lựa chọn cuối cùng.

— TopQnA