Các biện pháp cho độ chính xác của dữ liệu đa nhãn là gì?

Hãy xem xét một kịch bản mà bạn được cung cấp với Ma trận KnownLabel và Ma trận Dự đoán. Tôi muốn đo lường mức độ tốt của ma trận Dự đoán so với Ma trận KnownLabel.

Nhưng thách thức ở đây là Ma trận KnownLabel có vài hàng chỉ có 1 và một vài hàng khác có nhiều 1 (các ví dụ này được dán nhãn nhiều). Một ví dụ về Ma trận KnownLabel được đưa ra dưới đây.

A =[1 0 0 0
    0 1 0 0
    0 1 1 0
    0 0 1 1
    0 1 1 1]

Trong ma trận trên, thể hiện dữ liệu 1 và 2 là dữ liệu nhãn đơn, thể hiện dữ liệu 3 và 4 là hai dữ liệu nhãn và thể hiện dữ liệu 5 là dữ liệu ba nhãn.

Bây giờ tôi đã dự đoán Ma trận dữ liệu của trường hợp sử dụng thuật toán.

Tôi muốn biết nhiều biện pháp khác nhau có thể được sử dụng để đo lường mức độ tốt của Ma trận Dự đoán đối với Ma trận KnownLabel.

Tôi có thể nghĩ về sự khác biệt định mức fcoatinus giữa chúng là một trong những biện pháp. Nhưng tôi đang tìm kiếm các biện pháp như độ chính xác $(= \frac{\text{Correctly_predicted_instance}}{\text{total_instance}})$

Ở đây làm thế nào để chúng ta có thể định nghĩa cho nhiều trường hợp dữ liệu? $\rm Correctly\_predicted$

machine-learning data-mining multilabel

— Người học
nguồn

(+1) Sidenote: Có lý do cụ thể nào khiến bạn không chấp nhận câu trả lời trong phần lớn câu hỏi của mình không? Tại sao bạn không đăng bình luận khi câu trả lời được cung cấp không giải quyết được vấn đề của bạn? Ví dụ: stats.stackexchange.com/questions/9947/ Hãy

— steffen

Câu trả lời:

(1) cung cấp một cái nhìn tổng quan tốt đẹp:

Các trang Wikipedia n phân loại đa nhãn chứa một phần trên các số liệu đánh giá là tốt.

Tôi sẽ thêm một cảnh báo rằng trong cài đặt đa nhãn, độ chính xác không rõ ràng: nó có thể đề cập đến tỷ lệ khớp chính xác hoặc điểm Hamming (xem phần này bài đăng ). Thật không may, nhiều giấy tờ sử dụng thuật ngữ "chính xác".

(1) Sorower, Mohammad S. " Một khảo sát tài liệu về các thuật toán cho việc học đa nhãn. " Đại học bang Oregon, Corvallis (2010).

— Franck Dernoncourt
nguồn

Các định nghĩa này có đi ngược lại các định nghĩa chung cho Chính xác và Thu hồi không? Tôi đã luôn đọc rằng độ chính xác nên chia cho TP + FP và nhớ lại nên chia cho TP + FN (các định nghĩa được đề xuất ở đây làm ngược lại nếu tôi hiểu rõ).

— tomasyany

Y_{i} \in Y = {0, 1}^{k}

$Y_i \in \mathcal{Y} = \{0, 1\}^k$

i

$i$

Z_{i} = h (x_{i}) = {0, 1}^{k}

$Z_i = h(\mathbf{x}_i) = \{0, 1\}^k$

h

$h$

Y_{i}

$Y_i$

Z_{i}

$Z_i$

Đối với các accuracybiện pháp, làm thế nào để bạn xử lý thanh lịch các trường hợp mẫu số |Y + Z| == 0?

— ihadanny

@tomasyany đang đề cập đến các định nghĩa văn bản (không phải các công thức), dường như được chuyển đổi xung quanh.

— Narfanar

Và định nghĩa AP này trông giống mAP (có nghĩa là AP), phải không? Cái được gọi là 'Độ chính xác' là IoU trung bình. Các điều khoản khá khó hiểu về tổng thể.

— Narfanar

Hamming Loss có lẽ là hàm mất mát được sử dụng rộng rãi nhất trong phân loại đa nhãn.

Có một cái nhìn về các nghiên cứu thực nghiệm về phân loại nhiều nhãn và phân loại đa nhãn: Tổng quan , cả hai đều thảo luận về điều này.

— tdc
nguồn

Correctly Predictedlà giao điểm giữa bộ nhãn được đề xuất và bộ được mong đợi. Total Instanceslà sự kết hợp của các bộ ở trên (không có số lượng trùng lặp).

Vì vậy, đưa ra một ví dụ duy nhất trong đó bạn dự đoán các lớp A, G, Evà trường hợp kiểm tra là trường hợp E, A, H, Pchính xác mà bạn kết thúc vớiAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5

— Marsellus Wallace
nguồn