Phân loại văn bản quy mô lớn

Tôi đang tìm cách phân loại dữ liệu văn bản của tôi. Tôi có 300 classes, 200 tài liệu đào tạo mỗi lớp (vì vậy 60000 documents in total) và điều này có khả năng dẫn đến dữ liệu rất cao (chúng ta có thể đang tìm kiếm vượt quá 1 triệu kích thước ).

Tôi muốn thực hiện các bước sau trong đường ống dẫn (chỉ để cho bạn biết ý nghĩa của tôi về yêu cầu của tôi):

1. Chuyển đổi từng tài liệu thành tính năng vector ( tf-idfhoặc vector space model)
2. Feature selection( Mutual Informationtốt nhất là dựa trên, hoặc bất kỳ tiêu chuẩn nào khác)
3. Đào tạo phân loại ( SVM, Naive Bayes, Logistic Regressionhay Random Forest)
4. Dự đoán dữ liệu chưa thấy dựa trên mô hình phân loại được đào tạo.

Vì vậy, câu hỏi là tôi sử dụng công cụ / khung nào để xử lý dữ liệu chiều cao như vậy? Tôi biết về các nghi phạm thông thường (R, WEKA ...) nhưng theo như kiến ​​thức của tôi (tôi có thể sai) có lẽ không ai trong số họ có thể xử lý dữ liệu lớn như vậy. Có cái nào khác ngoài công cụ kệ mà tôi có thể nhìn vào không?

Nếu tôi phải song song hóa nó, tôi có nên xem Apache Mahout không? Có vẻ như nó có thể chưa hoàn toàn cung cấp các chức năng tôi yêu cầu.

Cảm ơn tất cả trước.

Cập nhật: Tôi đã xem qua trang web này , danh sách gửi thư R và internet nói chung. Tôi nhận thấy rằng những vấn đề sau đây có thể xuất hiện trong tình huống của tôi:

(1) Việc xử lý trước dữ liệu của tôi bằng R ( đặc biệt là gói tm ) có thể không thực tế , vì tmsẽ rất chậm.

(2) Vì tôi sẽ cần sử dụng một nhóm các gói R (tiền xử lý, ma trận thưa thớt, phân loại, v.v.) khả năng tương tác giữa các gói có thể trở thành một vấn đề và tôi có thể phải chịu thêm chi phí trong việc chuyển đổi dữ liệu từ định dạng này sang định dạng khác . Ví dụ: nếu tôi xử lý trước bằng cách sử dụng tm(hoặc một công cụ bên ngoài như WEKA), tôi sẽ cần tìm ra cách chuyển đổi dữ liệu này thành một dạng mà các thư viện HPC trong R có thể đọc được. Và một lần nữa tôi không rõ liệu các gói phân loại sẽ trực tiếp lấy dữ liệu như được cung cấp bởi các thư viện HPC.

Có phải tôi đang trên đường ray bên phải không? Và quan trọng hơn, tôi có ý nghĩa?

Điều này có thể làm cho nó hoạt động miễn là dữ liệu được biểu diễn dưới dạng cấu trúc dữ liệu thưa thớt như scipy.sparse.csr_matrixthể hiện trong Python. Tôi đã viết một hướng dẫn để làm việc trên dữ liệu văn bản . Có thể giảm hơn nữa việc sử dụng bộ nhớ hơn nữa bằng cách tận dụng thủ thuật băm: điều chỉnh nó để sử dụng HashingVectorizerthay vì CountingVectorizerhoặc TfidfVectorizer. Điều này được giải thích trong phần tài liệu trích xuất tính năng văn bản .

Rừng ngẫu nhiên nói chung đắt hơn nhiều so với mô hình tuyến tính (như máy vectơ hỗ trợ tuyến tính và hồi quy logistic) và Bayes ngây thơ đa chiều hoặc Bernoulli và đối với hầu hết các vấn đề phân loại văn bản không mang lại độ chính xác dự đoán tốt hơn đáng kể so với mô hình đơn giản.

Nếu scikit-learn kết thúc không thể mở rộng theo vấn đề của bạn, Vowpal Wợi sẽ làm (và có thể nhanh hơn sklearn) mặc dù nó không thực hiện tất cả các mô hình mà bạn đang nói đến.

Được chỉnh sửa vào tháng 4 năm 2015 để phản ánh trạng thái hiện tại của thư viện scikit-learn và để sửa các liên kết bị hỏng.

Gensim cho Python là ma thuật. Và vì nó có trong Python, bạn có thể sử dụng nó cùng với đề xuất của @ ogrisel.

Không tự mình bấm còi, nhưng tôi đã tạo một loạt video khá phổ biến về phân tích văn bản với Rapidminer. Bạn có thể thấy nó ở đây:

http://vancodardata.blogspot.com/2010/11/text-analytics-with-rapidminer-loading.html

Bạn có thể tránh thực hiện lựa chọn tính năng, chỉ cần sử dụng trình phân loại không tạo ra ma trận triệu * triệu trong bộ nhớ :)

Hồi quy logistic sẽ nghẹt thở trên nhiều chiều. Naive Bayes giả định kích thước độc lập, vì vậy bạn sẽ ổn. SVM không phụ thuộc vào số lượng kích thước (nhưng vào số lượng vectơ hỗ trợ) vì vậy nó cũng sẽ ổn.

300 là rất nhiều lớp mặc dù. Tôi sẽ bắt đầu chỉ với một vài và làm theo cách của bạn.

Đầu tiên, dựa trên ý kiến ​​của bạn, tôi sẽ coi đây là 300 vấn đề phân loại nhị phân (có / không). Có nhiều người học phân loại nhị phân mã nguồn mở dễ sử dụng và điều này cho phép bạn trao đổi thời gian cho bộ nhớ.

SVM và hồi quy logistic có lẽ là phương pháp phổ biến nhất để phân loại văn bản. Cả hai đều có thể dễ dàng xử lý 1000000 kích thước, vì các triển khai hiện đại sử dụng cấu trúc dữ liệu thưa thớt và bao gồm các cài đặt chính quy hóa tránh quá mức.

Một số bộ máy học mã nguồn mở, bao gồm WEKA và KNIME , bao gồm cả SVM và hồi quy logistic. Các triển khai độc lập của SVM bao gồm libSVM và SVMlight . Để hồi quy logistic, tôi sẽ cắm BXRtrain và BXRVELify , mà tôi đã phát triển cùng với Madigan, Genkin và những người khác. BXR classify có thể xây dựng một chỉ mục trong bộ nhớ của hàng ngàn mô hình hồi quy logistic và áp dụng chúng đồng thời.

Đối với việc chuyển đổi văn bản thành dạng vector thuộc tính, bằng cách nào đó tôi luôn luôn viết một chút Perl để làm điều đó từ đầu. :-) Nhưng tôi nghĩ rằng các bộ máy học tôi đã đề cập bao gồm mã thông báo và mã hóa. Một lộ trình khác là đi cùng với nhiều bộ công cụ ngôn ngữ tự nhiên như LingPipe , mặc dù điều đó có thể là quá mức cần thiết cho bạn.

Vì Sklearn 0.13 thực sự có triển khai HashingVectorizer .

EDIT: Đây là một ví dụ đầy đủ về một ứng dụng như vậy từ các tài liệu sklearn

Về cơ bản, ví dụ này chứng minh rằng bạn có thể phân loại văn bản trên dữ liệu không thể phù hợp với bộ nhớ chính của máy tính (mà là trên đĩa / mạng / ...).