Tôi đang lên kế hoạch sử dụng trình phân loại máy vectơ hỗ trợ tuyến tính scikit (SVM) để phân loại văn bản trên kho văn bản bao gồm 1 triệu tài liệu được dán nhãn. Những gì tôi dự định làm là, khi người dùng nhập một số từ khóa, trước tiên, bộ phân loại sẽ phân loại nó trong một danh mục và sau đó một truy vấn truy xuất thông tin tiếp theo sẽ xảy ra trong các tài liệu của danh mục đó. Tôi có một vài câu hỏi:
- Làm thế nào để tôi xác nhận rằng phân loại sẽ không mất nhiều thời gian? Tôi không muốn người dùng phải dành thời gian chờ đợi phân loại kết thúc để có kết quả tốt hơn.
- Việc sử dụng thư viện scikit của Python cho các trang web / ứng dụng web có phù hợp với điều này không?
- Có ai biết làm thế nào amazon hoặc flipkart thực hiện phân loại trên các truy vấn của người dùng, hoặc họ sử dụng một logic hoàn toàn khác nhau?
Bạn có thể phân loại tất cả các từ khóa trước và sau đó chỉ cần kéo danh mục từ chỉ mục.
—
bè
@ffriend có vẻ như là một câu trả lời cho một truy vấn từ. Nhưng nếu truy vấn tìm kiếm bao gồm nhiều từ hơn .. hoặc kết hợp các từ .. tôi phải tạo chỉ mục cho tất cả các kết hợp !!!
—
user3498
SVC rất nhanh, vì vậy nếu bạn muốn sử dụng nó để phân loại truy vấn trong một ứng dụng tải vừa phải, nó sẽ hoạt động. Nhưng phân loại theo một (hoặc thậm chí vài từ) là một ý tưởng tồi trong hầu hết các trường hợp. Lấy các từ mơ hồ, ví dụ: nếu một số từ thuộc về 2 loại có rất ít sự khác biệt về xác suất thì sao? Bạn sẽ ném một danh mục ít có thể xảy ra ra khỏi tìm kiếm? Những gì bạn có thể muốn nhất là một thuật ngữ bổ sung trong công thức xếp hạng trong khi tìm kiếm, không từ chối tất cả các danh mục có thể xảy ra ít hơn.
—
bè