Làm thế nào tôi có thể đánh giá hiệu suất của một phương pháp học bán giám sát?

Tôi đang làm việc với một nhiệm vụ học tập có giám sát, trong đó tôi chỉ có dữ liệu tích cực và không ghi nhãn (học PU).

Tôi đã thử nghiệm một vài thuật toán và muốn đánh giá hiệu suất của chúng.

Đối với việc học có giám sát, tôi thường sử dụng:

1. Lỗi phân loại sai
2. Sự chính xác
3. Đường cong ROC

để đánh giá hiệu suất.

Tuy nhiên, vì tôi chỉ có dữ liệu tích cực và không ghi nhãn trong các bộ đào tạo và xác thực của mình nên tôi không chắc các số liệu này có ý nghĩa.

Tôi có thể sử dụng số liệu nào để đánh giá đúng hiệu suất của phương pháp học bán giám sát?

Chúng tôi đã giải quyết vấn đề này trong Đánh giá phân loại nhị phân chỉ sử dụng dữ liệu tích cực và không nhãn . Cụ thể, chúng tôi trình bày cách tính các giới hạn nghiêm ngặt trên bất kỳ số liệu nào dựa trên các bảng dự phòng (độ chính xác, độ chính xác, đường cong ROC / PR, ...). Công việc của chúng tôi đã được tất cả các nhà đánh giá chấp nhận tại hội nghị NIPS năm nay, nhưng sau đó bị biên tập viên từ chối vì thiếu ý nghĩa (hình minh họa). Chúng tôi sẽ gửi nó cho KDD sắp tới.

Cách tiếp cận của chúng tôi dựa trên giả định hợp lý rằng các dương tính đã biết được lấy mẫu hoàn toàn ngẫu nhiên từ tất cả các dương tính. Nếu bạn không thể dựa vào giả định này, bất kỳ hình thức đánh giá hiệu suất nào là không thể thực hiện được. Ngoài ra, chúng tôi yêu cầu ước tính tỷ lệ phần trăm dương trong tập hợp không được gắn nhãn, mà bạn thường có thể có được thông qua kiến ​​thức tên miền hoặc bằng cách lấy nhãn rõ ràng cho một tập hợp con ngẫu nhiên nhỏ của tập hợp không nhãn.

Đây là một ý tưởng suy nghĩ đi ngang: Bạn có một số nhãn tích cực và bạn có thể ước tính nhóm dữ liệu tự nhiên bằng cách sử dụng học tập không giám sát. Cố gắng đo sự chồng chéo giữa thông tin đã biết và cách các nhóm dữ liệu kết hợp với nhau, sử dụng sự trùng lặp làm thước đo sự thật.

Vì vậy, thực hiện học tập không giám sát, xem dữ liệu được dán nhãn tương ứng với các cụm. Nếu bạn gặp may, thì các nhãn sẽ chỉ tương quan với một trong các cụm hoặc các ngoại lệ (có thể hóa ra là các cụm được cung cấp thêm dữ liệu).

Kết quả A - các nhóm dữ liệu rời rạc

Giả sử bạn có 10 nhãn từ 100 ví dụ chưa được gắn nhãn và sau khi phân cụm, hóa ra 10 nhãn đó thuộc về một cụm có 20 điểm dữ liệu. Đây là trường hợp hạnh phúc và bây giờ bạn có thể gắn nhãn tất cả 20 với 1 và mọi thứ khác là 0. Vấn đề được giải quyết, chỉ cần sử dụng AUC.

Kết quả B - hơn 2 nhóm, cụm mờ

Điều gì xảy ra nếu đây không phải là trường hợp? Còn các nhóm khác thì sao?

Nếu không, giả sử bạn có 9 nhãn theo cụm với 20 và 1 ở một trong các cụm khác (hy vọng là một nhãn khác). Lặp lại nhiều lần và đếm số lần nhãn 'đất' trong một nhóm nhất định. Tính toán thông tin lẫn nhau giữa dữ liệu được dán nhãn (ví dụ tích cực) và các nhóm qua nhiều cụm.$X$$Y$

$$I(X;Y) = \sum_{y \in Y} \sum_{x \in X} p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) }, \,\!$$

Vì vậy, với cụm, cuối cùng bạn sẽ có cho mỗi nhóm. Giả sử rằng các giá trị này là sự thật cơ bản (giá trị đích) khi bạn đánh giá mô hình cuối cùng của mình.$K=3$$I_k(X;Y)$

Điều này dựa trên giả định rằng dự đoán của bạn cũng sẽ có các nhãn tích cực (hiện tại, nhiều trong số chúng) được phân phối theo một cách nhất định trong nhóm dữ liệu không được giám sát.