Sử dụng liblinear trên dữ liệu lớn để phân tích ngữ nghĩa

Tôi sử dụng Libsvm để huấn luyện dữ liệu và dự đoán phân loại về vấn đề phân tích ngữ nghĩa . Nhưng nó có một vấn đề về hiệu suất trên dữ liệu quy mô lớn, bởi vì phân tích ngữ nghĩa liên quan đến vấn đề n chiều .

Năm ngoái, Liblinear đã được phát hành và nó có thể giải quyết nút thắt hiệu suất. Nhưng nó tốn quá nhiều bộ nhớ . MapReduce có phải là cách duy nhất để giải quyết vấn đề phân tích ngữ nghĩa trên dữ liệu lớn? Hoặc có bất kỳ phương pháp nào khác có thể cải thiện tình trạng tắc nghẽn bộ nhớ trên Liblinear ?

Lưu ý rằng có một phiên bản đầu tiên của LIBLINEAR được chuyển sang Apache Spark . Xem bình luận danh sách gửi thư để biết một số chi tiết ban đầu, và trang web của dự án .

Bạn có thể kiểm tra wow vowpal . Nó khá phổ biến cho việc học tập quy mô lớn và bao gồm các điều khoản song song.

Từ trang web của họ:

VW là bản chất của tốc độ trong học máy, có thể học từ các bộ dữ liệu terafeature một cách dễ dàng. Thông qua học song song, nó có thể vượt quá thông lượng của bất kỳ giao diện mạng máy đơn lẻ nào khi thực hiện học tuyến tính, lần đầu tiên trong số các thuật toán học.