Làm thế nào để dự đoán kết quả chỉ với các trường hợp tích cực như đào tạo?

Để đơn giản, giả sử tôi đang làm việc với ví dụ cổ điển về email spam / không phải thư rác.

Tôi có một bộ 20000 email. Trong số này, tôi biết rằng 2000 là thư rác nhưng tôi không có ví dụ nào về email không phải thư rác. Tôi muốn dự đoán liệu 18000 còn lại có phải là thư rác hay không. Lý tưởng nhất, kết quả mà tôi đang tìm kiếm là một xác suất (hoặc giá trị p) rằng email là thư rác.

Tôi có thể sử dụng thuật toán nào để đưa ra dự đoán hợp lý trong tình huống này?

Hiện tại, tôi đang nghĩ đến một phương pháp dựa trên khoảng cách sẽ cho tôi biết email của tôi giống với email spam đã biết như thế nào. Tôi có những lựa chọn nào?

Tổng quát hơn, tôi có thể sử dụng phương pháp học có giám sát hay tôi nhất thiết phải có các trường hợp tiêu cực trong tập huấn luyện của mình để làm điều đó? Tôi có bị giới hạn trong các phương pháp học tập không giám sát? Còn phương pháp bán giám sát thì sao?

Điều này được gọi là học từ dữ liệu tích cực và không có nhãn, hoặc viết tắt là PU, và là một hoạt động tích cực của học tập bán giám sát.

Tóm lại, điều quan trọng là sử dụng dữ liệu chưa được gắn nhãn trong quá trình học vì nó mang lại các mô hình được cải thiện đáng kể so với cái gọi là phân loại lớp đơn được đào tạo riêng về các mặt tích cực đã biết. Dữ liệu chưa được gắn nhãn có thể được kết hợp theo nhiều cách, các cách tiếp cận chủ yếu là như sau:

• bằng cách nào đó suy ra một tập hợp các tiêu cực có khả năng từ dữ liệu chưa được gắn nhãn và sau đó huấn luyện một mô hình được giám sát để phân biệt các tích cực đã biết với các tiêu cực được suy luận này.
• coi bộ không nhãn là âm và bằng cách nào đó giải thích cho nhiễu nhãn được biết là có mặt.

Tôi đang hoạt động trong lĩnh vực này và thay vì tóm tắt nó ở đây cho bạn, tôi khuyên bạn nên đọc hai bài viết của mình và các tài liệu tham khảo trong đó để có cái nhìn tổng quan về tên miền:

• Một kỹ thuật tiên tiến để tìm hiểu các mô hình từ dữ liệu tích cực và không nhãn (xuất bản chính thức có sẵn tại đây ): http://arxiv.org/abs/1402.3144
• Một kỹ thuật để tính toán các số liệu hiệu suất thường được sử dụng mà không có tiêu cực đã biết (đang xem xét, đây là lần đầu tiên thuộc loại này): http://arxiv.org/abs/1504.06837

Tôi cho rằng không có nhiều trường hợp spam trong 18000 trường hợp của bạn. Để sử dụng phương pháp học có giám sát cho việc này, bạn cần có nhiều hơn 1 danh mục / lớp trong dữ liệu của mình. Vì bạn biết 2000 trường hợp là thư rác, bạn có thể gắn nhãn 18000 trường hợp còn lại là 'danh mục không xác định' và huấn luyện bất kỳ mô hình học tập có giám sát nào để dự đoán liệu một trường hợp có nằm trong thư rác hoặc danh mục không xác định. Sau đó kiểm tra độ chính xác của mô hình mẫu để xem mô hình hoạt động tốt như thế nào để phân biệt giữa 2 loại. Nếu nó hoạt động tốt, thì giả định của tôi về một vài trường hợp spam trong danh mục 'không xác định' được bảo hành. Nếu nó không hoạt động tốt, thì bạn sẽ phải sử dụng một người học không được giám sát (như kmeans, v.v.) để phân cụm và xác định các nhóm đồng nhất riêng biệt trong dữ liệu của bạn. Sau đó xác định cụm nào chứa hầu hết 2000 email spam, và cái nào không, và gắn nhãn chúng là thư rác và không phải thư rác tương ứng. Tiếp theo, bạn có thể tiến hành mô hình hóa bằng cách sử dụng một người học được giám sát như tôi đã mô tả trước đó.

Những gì OP đang nói đến là một nhiệm vụ phân loại một lớp, đây là một nhiệm vụ rất khó khăn.

Có nhiều bài viết về nhiệm vụ này trên các lĩnh vực nghiên cứu khác nhau. Tôi cũng đã viết một Đề án xác minh quyền tác giả nội tại hiệu quả dựa trên việc học tập của nhóm . Rất dễ dàng để điều chỉnh nó để phân loại thư rác / không phải thư rác, thay vì tác giả. Hãy dùng thử và cho tôi biết nếu bạn cần thêm chi tiết ...