Làm thế nào để làm phân loại văn bản một lớp?

Tôi phải đối phó với một vấn đề phân loại văn bản. Trình thu thập dữ liệu web thu thập dữ liệu các trang web của một tên miền nhất định và đối với mỗi trang web tôi muốn tìm hiểu xem nó có thuộc về một lớp cụ thể hay không. Đó là, nếu tôi gọi lớp này là Tích cực , mỗi trang web được thu thập thông tin thuộc về lớp Tích cực hoặc thuộc lớp Không tích cực .

Tôi đã có một bộ trang web đào tạo lớn cho lớp Tích cực . Nhưng làm thế nào để tạo một tập huấn luyện cho lớp Không tích cực mà đại diện nhất có thể? Ý tôi là, về cơ bản tôi có thể sử dụng mọi thứ cho lớp học đó. Tôi chỉ có thể thu thập một số trang tùy ý mà chắc chắn không thuộc về lớp Tích cực ? Tôi chắc chắn rằng hiệu suất của thuật toán phân loại văn bản (tôi thích sử dụng thuật toán Naive Bayes) phụ thuộc nhiều vào trang web tôi chọn cho lớp Không tích cực .

Vậy tôi phải làm gì? Ai đó có thể xin vui lòng cho tôi một lời khuyên? Cảm ơn rât nhiều!

Các Spy EM thuật toán giải quyết chính xác vấn đề này.

S-EM là một hệ thống học tập hoặc phân loại văn bản học từ một tập hợp các ví dụ tích cực và không có nhãn (không có ví dụ tiêu cực). Nó dựa trên kỹ thuật "gián điệp", thuật toán Bayes và EM ngây thơ.

Ý tưởng cơ bản là kết hợp bộ tích cực của bạn với một loạt các tài liệu được thu thập ngẫu nhiên. Ban đầu, bạn coi tất cả các tài liệu được thu thập thông tin là lớp phủ định và tìm hiểu một trình phân loại vịnh ngây thơ trên tập hợp đó. Bây giờ một số tài liệu được thu thập thông tin đó sẽ thực sự tích cực và bạn có thể dán lại một cách thận trọng bất kỳ tài liệu nào được chấm điểm cao hơn tài liệu thực sự có điểm thấp nhất. Sau đó, bạn lặp lại quá trình này cho đến khi nó ổn định.

Đây là một luận án tốt về phân loại một lớp:

• Tax, DM: Phân loại một lớp - Học theo khái niệm khi không có ví dụ phản biện , luận án tiến sĩ, Technische Universiteit Delft, 2001. ( pdf )

Luận án này giới thiệu phương pháp Mô tả dữ liệu vectơ hỗ trợ (SVDD), một máy vectơ hỗ trợ một lớp tìm thấy một siêu cầu xung quanh dữ liệu thay vì siêu phẳng phân tách dữ liệu.

Luận án cũng đánh giá các phân loại một lớp khác.

Đào tạo tốt đòi hỏi dữ liệu cung cấp ước tính tốt về xác suất của từng lớp. Mỗi vấn đề phân loại liên quan đến ít nhất hai lớp. Trong trường hợp của bạn, lớp thứ hai là bất kỳ ai không thuộc lớp tích cực. Để hình thành một ranh giới quyết định tốt bằng cách sử dụng Bayes hoặc bất kỳ phương pháp tốt nào khác được thực hiện tốt nhất với càng nhiều dữ liệu đào tạo được chọn ngẫu nhiên từ lớp. Nếu bạn thực hiện lựa chọn không ngẫu nhiên, bạn có thể nhận được một mẫu không thực sự đại diện cho hình dạng của mật độ / phân phối có điều kiện của lớp và có thể dẫn đến lựa chọn kém về ranh giới quyết định.

Tôi đồng ý với Michael.

Về câu hỏi của bạn về lựa chọn ngẫu nhiên; có: bạn phải chọn ngẫu nhiên từ bộ bổ sung 'tích cực' của bạn. Nếu có bất kỳ sự nhầm lẫn nào có thể là 'tích cực' của bạn không được định nghĩa đầy đủ là 'tích cực thuần túy', nếu tôi có thể sử dụng cụm từ đó, thì bạn cũng có thể thử ít nhất một số định nghĩa phù hợp cho tích cực để bạn sẽ kiểm soát các biến đó có khả năng gây ô nhiễm theo định nghĩa 'dương'. Trong trường hợp này, bạn cũng phải khớp tương ứng trên cùng một biến ở bên 'không tích cực'.

Một bài viết có thể được quan tâm là:

"Phân loại centroid thu nhỏ gần nhất mở rộng: Một phương pháp mới để phân bổ quyền tác giả mở cho các văn bản có kích cỡ khác nhau", Schaalje, Lĩnh vực, Roper và Snow. Văn học và ngôn ngữ điện toán, tập. 26, số 1, 2011.

Phương pháp này sử dụng một phương thức để gán một văn bản cho một nhóm tác giả và mở rộng nó để sử dụng khả năng tác giả thực sự không có trong bộ ứng cử viên. Ngay cả khi bạn không sử dụng phương pháp NSC, các ý tưởng trong bài viết có thể hữu ích trong việc suy nghĩ về cách tiến hành.