Hiệu suất trung bình vi mô so với trung bình vĩ mô trong cài đặt phân loại nhiều lớp

Tôi đang thử một thiết lập phân loại đa lớp với 3 lớp. Phân phối lớp bị sai lệch với hầu hết các dữ liệu thuộc 1 trong 3 lớp. (nhãn lớp là 1,2,3, với 67,28% dữ liệu thuộc nhãn lớp 1, 11,99% dữ liệu trong lớp 2 và còn lại trong lớp 3)

Tôi đang đào tạo một trình phân loại đa lớp trên tập dữ liệu này và tôi sẽ nhận được hiệu suất sau:

                    Precision           Recall           F1-Score
Micro Average       0.731               0.731            0.731
Macro Average       0.679               0.529            0.565

Tôi không chắc tại sao tất cả Micro avg. hiệu suất là như nhau và cũng là lý do tại sao hiệu suất trung bình Macro rất thấp.

Trung bình vi mô và vĩ mô (đối với bất kỳ số liệu nào) sẽ tính toán những thứ hơi khác nhau, và do đó cách giải thích của chúng khác nhau. Trung bình vĩ mô sẽ tính toán số liệu một cách độc lập cho mỗi lớp và sau đó lấy trung bình (do đó đối xử bình đẳng với tất cả các lớp), trong khi trung bình vi mô sẽ tổng hợp các đóng góp của tất cả các lớp để tính toán số liệu trung bình. Trong thiết lập phân loại nhiều lớp, trung bình vi mô là tốt hơn nếu bạn nghi ngờ có thể có sự mất cân bằng lớp (nghĩa là bạn có thể có nhiều ví dụ về một lớp hơn so với các lớp khác).

Để minh họa tại sao, lấy ví dụ độ chính xác . Hãy tưởng tượng bạn có một One-vs-All (chỉ có một đầu ra lớp đúng mỗi chẳng hạn) hệ thống phân loại đa lớp với bốn lớp học và những con số sau khi kiểm tra:$Pr=\frac{TP}{(TP+FP)}$

• Hạng A: 1 TP và 1 FP
• Hạng B: 10 TP và 90 FP
• Lớp C: 1 TP và 1 FP
• Lớp D: 1 TP và 1 FP

Bạn có thể dễ dàng thấy rằng , trong khi .$Pr_A = Pr_C = Pr_D = 0.5$$Pr_B=0.1$

• Trung bình vĩ mô sau đó sẽ tính toán:$Pr=\frac{0.5+0.1+0.5+0.5}{4}=0.4$
• Một trung bình vi mô sẽ tính toán:$Pr=\frac{1+10+1+1}{2+100+2+2}=0.123$

Đây là những giá trị khá khác nhau cho độ chính xác. Theo trực giác, ở mức trung bình vĩ mô, độ chính xác "tốt" (0,5) của các lớp A, C và D đang góp phần duy trì độ chính xác tổng thể "khá" (0,4). Mặc dù điều này đúng về mặt kỹ thuật (giữa các lớp, độ chính xác trung bình là 0,4), nhưng nó hơi sai lệch, vì một số lượng lớn các ví dụ không được phân loại đúng. Những ví dụ này chủ yếu tương ứng với lớp B, vì vậy chúng chỉ đóng góp 1/4 vào mức trung bình mặc dù cấu thành 94,3% dữ liệu thử nghiệm của bạn. Trung bình vi mô sẽ nắm bắt đầy đủ sự mất cân bằng của lớp này và đưa trung bình chính xác tổng thể xuống còn 0,125 (phù hợp hơn với độ chính xác của lớp B thống trị (0,1)).

Vì các lý do tính toán, đôi khi có thể thuận tiện hơn để tính trung bình của lớp và sau đó là trung bình vĩ mô. Nếu mất cân bằng lớp học là một vấn đề, có một số cách xung quanh nó. Một là báo cáo không chỉ trung bình vĩ mô, mà cả độ lệch chuẩn của nó (đối với 3 lớp trở lên). Một cách khác là tính trung bình vĩ mô có trọng số, trong đó mỗi lớp đóng góp vào mức trung bình được tính theo số lượng ví dụ tương đối có sẵn cho nó. Trong kịch bản trên, chúng tôi có được:

$Pr_{macro-mean}={0.25·0.5+0.25·0.1+0.25·0.5+0.25·0.5}=0.4$ $Pr_{macro-stdev}=0.173$

$Pr_{macro-weighted}={0.0189·0.5+0.943·0.1+0.0189·0.5+0.0189·0.5}={0.009+0.094+0.009+0.009}=0.123$

Độ lệch chuẩn lớn (0,173) đã cho chúng ta biết rằng trung bình 0,4 không xuất phát từ độ chính xác đồng nhất giữa các lớp, nhưng có thể dễ dàng hơn để tính trung bình vĩ mô có trọng số, về bản chất là một cách khác để tính trung bình vi mô .

Bài đăng gốc - http://rushdishams.blogspot.in/2011/08/micro-and-macro-alusive-of-precision.html

Trong phương pháp trung bình vi mô, bạn tổng hợp các giá trị dương thực sự riêng lẻ, dương tính giả và phủ định sai của hệ thống cho các bộ khác nhau và áp dụng chúng để lấy số liệu thống kê.

Lừa, nhưng tôi thấy điều này rất thú vị. Có hai phương pháp mà bạn có thể có được thống kê trung bình về truy xuất và phân loại thông tin.

1. Phương pháp trung bình vi mô

Trong phương pháp trung bình vi mô, bạn tổng hợp các giá trị dương thực sự riêng lẻ, dương tính giả và phủ định sai của hệ thống cho các bộ khác nhau và áp dụng chúng để lấy số liệu thống kê. Ví dụ: đối với một tập hợp dữ liệu, hệ thống

True positive (TP1)  = 12
False positive (FP1) = 9
False negative (FN1) = 3

Khi đó độ chính xác (P1) và gọi lại (R1) sẽ là và$57.14 \%=\frac {TP1}{TP1+FP1}$$80\%=\frac {TP1}{TP1+FN1}$

và đối với một tập hợp dữ liệu khác, hệ thống

True positive (TP2)  = 50
False positive (FP2) = 23
False negative (FN2) = 9

Khi đó độ chính xác (P2) và gọi lại (R2) sẽ là 68,49 và 84,75

Bây giờ, độ chính xác trung bình và thu hồi hệ thống bằng phương pháp Micro-Average là

$\text{Micro-average of precision} = \frac{TP1+TP2}{TP1+TP2+FP1+FP2} = \frac{12+50}{12+50+9+23} = 65.96$

$\text{Micro-average of recall} = \frac{TP1+TP2}{TP1+TP2+FN1+FN2} = \frac{12+50}{12+50+3+9} = 83.78$

Điểm F trung bình vi mô sẽ chỉ đơn giản là trung bình hài hòa của hai hình này.

2. Phương pháp trung bình vĩ mô

Phương pháp là thẳng về phía trước. Chỉ cần lấy mức trung bình của độ chính xác và thu hồi hệ thống trên các bộ khác nhau. Ví dụ, độ chính xác trung bình vĩ mô và thu hồi hệ thống cho ví dụ đã cho là

$\text{Macro-average precision} = \frac{P1+P2}{2} = \frac{57.14+68.49}{2} = 62.82$ $\text{Macro-average recall} = \frac{R1+R2}{2} = \frac{80+84.75}{2} = 82.25$

Điểm F trung bình vĩ mô sẽ chỉ đơn giản là trung bình hài hòa của hai hình này.

Tính phù hợp Phương pháp trung bình vĩ mô có thể được sử dụng khi bạn muốn biết cách hệ thống thực hiện tổng thể trên toàn bộ các bộ dữ liệu. Bạn không nên đưa ra bất kỳ quyết định cụ thể nào với mức trung bình này.

Mặt khác, trung bình vi mô có thể là một thước đo hữu ích khi tập dữ liệu của bạn thay đổi kích thước.

Trong một thiết lập đa lớp, độ chính xác trung bình và thu hồi luôn luôn giống nhau.

Vì trong cài đặt nhiều lớp, bạn đếm tất cả các trường hợp sai, hóa ra

Do đó P = R. Nói cách khác, mọi Dự đoán sai sẽ là một dương tính giả cho một lớp và mỗi một phủ định đơn sẽ là một phủ định sai cho một lớp. Nếu bạn coi trường hợp phân loại nhị phân là phân loại hai lớp và tính toán độ chính xác trung bình vi mô và thu hồi chúng sẽ giống nhau.

Câu trả lời được đưa ra bởi Rahul là trong trường hợp lấy trung bình độ chính xác nhị phân và thu hồi từ nhiều tập dữ liệu. Trong trường hợp đó, độ chính xác trung bình và thu hồi trung bình là khác nhau.

Đó là cách nó phải như vậy. Tôi đã có kết quả tương tự cho nghiên cứu của tôi. Nó có vẻ kỳ lạ lúc đầu. Nhưng độ chính xác và thu hồi phải giống nhau trong khi trung bình vi kết quả của phân loại nhãn đơn lớp nhiều lớp. Điều này là do nếu bạn xem xét phân loại sai c1 = c2 (trong đó c1 và c2 là 2 lớp khác nhau), thì phân loại sai là dương tính giả (fp) đối với c2 và âm tính giả (fn) đối với c1. Nếu bạn tính tổng fn và fp cho tất cả các lớp, bạn sẽ nhận được cùng một số vì bạn đang đếm từng phân loại sai là fp đối với một lớp và fn đối với lớp khác.

Tôi nghĩ lý do tại sao trung bình vĩ mô thấp hơn trung bình vi mô được giải thích rõ bằng câu trả lời của pythiest (lớp thống trị có dự đoán tốt hơn và do đó mức tăng trung bình vi mô).

Nhưng thực tế là trung bình vi mô tương đương với điểm Chính xác, Thu hồi và F1 là do vi trung bình cho các số liệu này dẫn đến Độ chính xác tổng thể (vì micro avg coi tất cả các lớp là dương). Lưu ý rằng nếu Độ chính xác và Thu hồi bằng nhau thì điểm F1 chỉ bằng độ chính xác / thu hồi.

Đối với câu hỏi nếu "trung bình vĩ mô có trọng số" luôn luôn bằng "trung bình vi mô"? Tôi đã làm một số thí nghiệm với không. của các lớp và sự mất cân bằng lớp khác nhau và hóa ra điều này là không cần thiết đúng.

Những tuyên bố này được đưa ra với giả định rằng chúng tôi đang xem xét tất cả các lớp của cùng một bộ dữ liệu (trái ngược với câu trả lời của Rahul Reddy Vemireddy)

lợi thế của việc sử dụng Điểm số F1 F1 là nó có trọng số tương đương với tất cả các điểm dữ liệu, ví dụ: hãy nghĩ rằng vi mô F1 lấy Tổng của tất cả các Thu hồi và Giả định của các nhãn khác nhau một cách độc lập, vì vậy khi chúng ta mất cân bằng lớp như T1 = 90%, T2 = 80%, T3 = 5 thì F1 Micro cho trọng số tương đương với tất cả các lớp và không bị ảnh hưởng bởi các sai lệch trong phân phối của lớp Nhật ký mất Nhật ký, nó phạt các sai lệch nhỏ trong lớp