Một số cách tiêu chuẩn để tính toán khoảng cách giữa các truy vấn tìm kiếm cá nhân là gì?

Tôi đã đặt một câu hỏi tương tự hỏi về khoảng cách giữa các "tài liệu" (bài viết trên Wikipedia, tin tức, v.v.). Tôi đặt câu hỏi này thành một câu hỏi riêng vì các truy vấn tìm kiếm nhỏ hơn đáng kể so với tài liệu và đáng chú ý hơn. Do đó tôi không biết (và nghi ngờ) nếu các số liệu khoảng cách tương tự sẽ được sử dụng ở đây.

Hoặc số liệu khoảng cách từ vựng vanilla hoặc số liệu khoảng cách ngữ nghĩa hiện đại được ưa thích, với ưu tiên mạnh mẽ hơn cho sau này.

Theo kinh nghiệm của tôi, chỉ có một số loại truy vấn có thể được phân loại theo các tính năng từ vựng (do sự mơ hồ của ngôn ngữ tự nhiên). Thay vào đó, bạn có thể thử sử dụng kết quả tìm kiếm boolean (trang web hoặc phân đoạn trang web, không phải tài liệu, không xếp hạng) làm tính năng để phân loại (thay vì từ). Cách tiếp cận này hoạt động tốt trong các lớp có sự mơ hồ từ vựng lớn trong truy vấn nhưng tồn tại rất nhiều trang web tốt có liên quan đến truy vấn (ví dụ: phim, nhạc, truy vấn thương mại, v.v.).

Ngoài ra, để phân loại ngoại tuyến, bạn có thể thực hiện LSI trên ma trận trang truy vấn. Xem sách "Giới thiệu về truy xuất thông tin" để biết chi tiết.

Số liệu tương tự cosine thực hiện công việc kiểm soát độ dài tài liệu tốt (nếu không hoàn hảo), do đó, việc so sánh độ tương tự của 2 tài liệu hoặc 2 truy vấn bằng cách sử dụng số liệu cosine và trọng số tf idf cho các từ sẽ hoạt động tốt trong cả hai trường hợp. Tôi cũng khuyên bạn nên thực hiện LSA trước tiên về trọng lượng tf idf, và sau đó tính toán khoảng cách cosine \ điểm tương đồng.

Nếu bạn đang cố gắng xây dựng một công cụ tìm kiếm, tôi khuyên bạn nên sử dụng một công cụ tìm kiếm nguồn mở miễn phí như tìm kiếm solr hoặc co giãn, hoặc chỉ các thư viện lucene thô, vì chúng làm hầu hết công việc cho bạn và có các phương pháp được xây dựng tốt cho xử lý các truy vấn để tài liệu tương tự vấn đề.