Làm thế nào để bạn tính toán độ chính xác và thu hồi để phân loại đa lớp bằng cách sử dụng ma trận nhầm lẫn?

Tôi tự hỏi làm thế nào để tính toán độ chính xác và thu hồi bằng cách sử dụng ma trận nhầm lẫn cho một vấn đề phân loại nhiều lớp. Cụ thể, một quan sát chỉ có thể được gán cho lớp / nhãn có thể xảy ra nhất của nó. Tôi muốn tính toán:

• Độ chính xác = TP / (TP + FP)
• Nhớ lại = TP / (TP + FN)

cho mỗi lớp, và sau đó tính toán số đo trung bình vi mô.

Trong trường hợp 2 giả thuyết, ma trận nhầm lẫn thường là:

       | Declare H1  |  Declare H0 |
|Is H1 |    TP       |   FN        |
|Is H0 |    FP       |   TN        |

nơi tôi đã sử dụng một cái gì đó tương tự như ký hiệu của bạn:

• TP = true dương (khai báo H1 khi, trong thực tế, H1),
• FN = âm tính giả (khai báo H0 khi, trong thực tế, H1),
• FP = dương tính giả
• TN = âm tính thật

Từ dữ liệu thô, các giá trị trong bảng thường sẽ là tổng số cho mỗi lần xuất hiện trên dữ liệu thử nghiệm. Từ đó, bạn sẽ có thể tính toán số lượng bạn cần.

Biên tập

Việc khái quát hóa cho các vấn đề đa lớp là tính tổng các hàng / cột của ma trận nhầm lẫn. Cho rằng ma trận được định hướng như trên, nghĩa là một hàng nhất định của ma trận tương ứng với giá trị cụ thể cho "sự thật", chúng ta có:

$\text{Precision}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ji}}$

$\text{Recall}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ij}}$

Đó là, độ chính xác là một phần của các sự kiện trong đó chúng tôi đã khai báo chính xác trong số tất cả các trường hợp thuật toán khai báo . Ngược lại, nhớ lại là một phần của các sự kiện mà chúng tôi đã tuyên bố chính xác trong số tất cả các trường hợp trong đó sự thật của trạng thái là .i i $i$$i$$i$$i$

Bài viết tóm tắt hay, xem xét các số liệu này cho các vấn đề đa lớp:

• Sokolova, M., & Lapalme, G. (2009). Một phân tích có hệ thống các biện pháp thực hiện cho các nhiệm vụ phân loại. Quản lý và quản lý thông tin, 45 , tr. 427-437. ( pdf )

Bản tóm tắt có nội dung:

Bài viết này trình bày một phân tích có hệ thống gồm hai mươi bốn biện pháp hiệu suất được sử dụng trong toàn bộ các nhiệm vụ phân loại Machine Learning, nghĩa là nhị phân, đa lớp, đa nhãn và phân cấp. Đối với mỗi nhiệm vụ phân loại, nghiên cứu liên quan đến một tập hợp các thay đổi trong ma trận nhầm lẫn với các đặc điểm cụ thể của dữ liệu. Sau đó, phân tích tập trung vào loại thay đổi đối với ma trận nhầm lẫn không thay đổi thước đo, do đó, bảo toàn đánh giá của phân loại (đo bất biến). Kết quả là biện pháp phân loại bất biến đối với tất cả các thay đổi phân phối nhãn có liên quan trong một vấn đề phân loại. Phân tích chính thức này được hỗ trợ bởi các ví dụ về các ứng dụng trong đó tính chất bất biến của các biện pháp dẫn đến việc đánh giá phân loại đáng tin cậy hơn.

Sử dụng sklearn và numpy:

from sklearn.metrics import confusion_matrix
import numpy as np

labels = ...
predictions = ...

cm = confusion_matrix(labels, predictions)
recall = np.diag(cm) / np.sum(cm, axis = 1)
precision = np.diag(cm) / np.sum(cm, axis = 0)

Để có được các biện pháp tổng thể về độ chính xác và thu hồi, hãy sử dụng sau đó

np.mean(recall)
np.mean(precision)