Tôi vừa đọc xong cuộc thảo luận này . Họ cho rằng PR AUC tốt hơn ROC AUC về dữ liệu không cân bằng.
Ví dụ: chúng tôi có 10 mẫu trong tập dữ liệu thử nghiệm. 9 mẫu dương tính và 1 mẫu âm tính. Chúng tôi có một mô hình khủng khiếp dự đoán mọi thứ tích cực. Do đó, chúng ta sẽ có một số liệu TP = 9, FP = 1, TN = 0, FN = 0.
Sau đó, Độ chính xác = 0,9, Gọi lại = 1,0. Độ chính xác và thu hồi đều rất cao, nhưng chúng tôi có một bộ phân loại kém.
Mặt khác, TPR = TP / (TP + FN) = 1.0, FPR = FP / (FP + TN) = 1.0. Vì FPR rất cao, chúng tôi có thể xác định rằng đây không phải là một phân loại tốt.
Rõ ràng, ROC tốt hơn PR trên các bộ dữ liệu mất cân bằng. Ai đó có thể giải thích tại sao PR là tốt hơn?
1
Chính xác và Nhớ lại đều bỏ qua Âm tính giả. Lý do thông thường cho việc sử dụng sự đánh đổi PR (đường cong hoặc điểm F) là số lượng Âm tính và Âm tính giả là rất lớn so với TP và FP. Vì vậy TNR-> 1 và FPR-> 0 (tổng bằng 1 với cùng một mẫu số | Negs | mẫu số). Vì vậy, PR trong trường hợp này phản ánh (khuếch đại hoặc phóng to) sự đánh đổi giữa TP và FP, nhưng điều này không có ý nghĩa và điều có liên quan là sự gia tăng chỉ số Youden J (Informedness = TPR-FPR = TPR + TNR-1 = Độ nhạy + Độ đặc hiệu-1) tương ứng với hai lần diện tích giữa đường cong điểm vận hành đơn hình tam giác và đường cơ hội ROC.
—
David MW Powers
@DavidMWPowers, tại sao không biến điều đó thành câu trả lời chính thức? Đó dường như là một phản ứng rất nhiều thông tin cho tôi.
—
gung - Phục hồi Monica