Các lựa chọn thay thế bây giờ mà API tìm kiếm web của Google đã không được chấp nhận là gì? [đóng cửa]

API tìm kiếm trên web của Google đã không được chấp nhận và được thay thế bằng API tìm kiếm tùy chỉnh (xem http://code.google.com.vn/apis/websearch/ ).

Tôi muốn tìm kiếm toàn bộ web nhưng có vẻ như với API mới chỉ có thể tìm kiếm các trang tùy chỉnh.

Có cách nào để tìm kiếm toàn bộ web theo chương trình không? Tôi đã có thể truy vấn API cũ bằng JSON từ một chương trình Java.

Bạn chỉ có thể gửi chúng qua như một trình duyệt, và sau đó phân tích cú pháp html, đó là điều tôi luôn làm, ngay cả đối với những thứ như Youtube.

Có, Tìm kiếm tùy chỉnh của Google hiện đã thay thế API tìm kiếm cũ, nhưng bạn vẫn có thể sử dụng Tìm kiếm tùy chỉnh của Google để tìm kiếm trên toàn bộ web , mặc dù các bước không rõ ràng từ cài đặt Tìm kiếm tùy chỉnh.

Để tạo công cụ Tìm kiếm Tùy chỉnh của Google tìm kiếm trên toàn bộ web:

1. Từ trang chủ Tìm kiếm tùy chỉnh của Google ( http://www.google.com/cse/ ), nhấp vào Tạo Công cụ tìm kiếm tùy chỉnh.
2. Nhập tên và mô tả cho công cụ tìm kiếm của bạn.
3. Trong phần Xác định công cụ tìm kiếm của bạn, trong hộp Trang web để Tìm kiếm, nhập ít nhất một URL hợp lệ (Hiện tại, chỉ cần đặt www.anyurl.com để vượt qua màn hình này. Xem thêm về điều này sau).
4. Chọn phiên bản CSE bạn muốn và chấp nhận Điều khoản dịch vụ, sau đó nhấp vào Tiếp theo. Chọn tùy chọn bố trí bạn muốn, rồi bấm Tiếp theo.
5. Nhấp vào bất kỳ liên kết nào trong phần Các bước tiếp theo để điều hướng đến Bảng điều khiển của bạn.
6. Trong menu bên trái, bên dưới Bảng điều khiển, bấm vào Thông tin cơ bản.
7. Trong phần Tùy chọn tìm kiếm, chọn Tìm kiếm trên toàn bộ web nhưng nhấn mạnh các trang web được bao gồm.
8. Nhấp vào Lưu Thay đổi.
9. Trong menu bên trái, bên dưới Bảng điều khiển, nhấp vào Trang web.
10. Xóa trang web bạn đã nhập trong quá trình thiết lập ban đầu.

Bây giờ công cụ tìm kiếm tùy chỉnh của bạn sẽ tìm kiếm toàn bộ web.

Giá cả

• Google Custom Search cung cấp cho bạn 100 truy vấn mỗi ngày miễn phí.
• Sau đó, bạn phải trả $ 5 trên 1000 truy vấn.
• Có tối đa 10.000 truy vấn mỗi ngày.

Nguồn: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

• Chất lượng tìm kiếm thấp hơn nhiều so với tìm kiếm thông thường của Google (không có từ đồng nghĩa, "thông minh", v.v.)
• Có vẻ như Google thậm chí đang có kế hoạch đóng cửa hoàn toàn dịch vụ này.

Tìm kiếm tùy chỉnh của Google (như được ủng hộ trong các câu trả lời được xếp hạng hàng đầu) hoạt động tốt, nhưng rất tốn kém, so với các đối thủ cạnh tranh (bên dưới) hoặc so với các API khác của Google. Nó có một cấp miễn phí nhỏ (100 truy vấn / ngày) và mức giá rất cao là 5 đô la cho mỗi 1000 truy vấn.

Họ cung cấp tùy chọn nâng cấp lên Tìm kiếm trang web, có giá tốt hơn một chút, nhưng điều đó có nghĩa là để tìm kiếm một trang web (của riêng bạn), vì vậy nó thực sự là một cái gì đó khá khác biệt - không phải là một bản nâng cấp.

Các lựa chọn thay thế chính dường như là:

API tìm kiếm Bing
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Có mức miễn phí 5000q / tháng và giá bắt đầu từ 5 truy vấn mỗi xu và không giới hạn cứng.

CẬP NHẬT: Vào cuối năm 2016, API này đã ngừng hoạt động để ủng hộ đối tác Azure "Dịch vụ nhận thức Bing API tìm kiếm":
https://azure.microsoft.com/en-us/service/cognitive-service/search/

Xem ở đây để biết biểu đồ giá bắt đầu ở mức 3 đô la Mỹ / m cho 1.000 giao dịch. Trừ khi tôi thiếu một cái gì đó nó khá đắt.

CẬP NHẬT API tìm kiếm Yahoo BOSS : Đã ngừng hoạt động vào ngày 31 tháng 3 năm 2016. http://developer.yahoo.com/boss/search/
Với giá bắt đầu từ khoảng 12 truy vấn / xu cho toàn bộ tìm kiếm trên web.

Và một số tôi chưa từng nghe nói trước đây:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/imâyation /
[ngưng - như được chỉ ra dưới đây]

Có một chút thảo luận về một số trong số này trên bài viết SO này .
[đã đóng cửa vì lạc đề và giờ đã biến mất]

Dưới đây là một tùy chọn ở cuối Bảng điều khiển tìm kiếm tùy chỉnh: "Trang web để tìm kiếm" , bạn có thể chọn "Tìm kiếm toàn bộ trang web nhưng nhấn mạnh các trang web được bao gồm"

Faroo có API tìm kiếm web miễn phí

Tôi vừa bắt gặp điều này từ Thu thập thông tin chung.

http://www.commoncrawl.org/

Có thể là câu trả lời tất cả chúng ta đang tìm kiếm !!

Có một lưu ý trên đầu trang của tài liệu :

Lưu ý: API tìm kiếm trên web của Google đã không còn chính thức kể từ ngày 1 tháng 11 năm 2010. Nó sẽ tiếp tục hoạt động theo chính sách khấu hao của chúng tôi , nhưng số lượng yêu cầu bạn có thể thực hiện mỗi ngày sẽ bị giới hạn. Do đó, chúng tôi khuyến khích bạn chuyển sang API Tìm kiếm tùy chỉnh mới .

Các chính sách deprecation nói rằng họ sẽ tiếp tục chạy API trong 3 năm. Vì vậy, nếu bạn đã có một ứng dụng sử dụng API cũ, bạn không cần phải vội vàng thay đổi mọi thứ. Nếu bạn đang viết một ứng dụng mới, hãy sử dụng API Tìm kiếm tùy chỉnh . Xem câu trả lời của tôi ở đây để biết cách thực hiện điều này trong Python, nhưng ý tưởng này giống nhau đối với bất kỳ ngôn ngữ nào.

Có một API Java miễn phí có tên là JFreeWebSearch, sử dụng Faroo đã được đề cập: http://www.ke.tu-darmstadt.de/resource/jfreewebsearch

Bạn có thể tạo công cụ tìm kiếm tùy chỉnh "ở mọi nơi" ngay từ trang chủ Tìm kiếm tùy chỉnh của Google ( http://www.google.com/cse/ ). Bạn chỉ cần nhấp vào 'nâng cao', trong khi thêm công cụ mới. Ở đó bạn có thể cung cấp loại trang web Schema.org. " Điều " là loại chung chung nhất, bao gồm tất cả các trang web.

Gigablast cung cấp API tìm kiếm web giá rẻ: http://www.gigablast.com/searchfeed.html