Vì tôi có bộ dữ liệu rất mất cân bằng (kết quả dương tính 9%), tôi đã quyết định đường cong thu hồi chính xác phù hợp hơn đường cong ROC. Tôi đã thu được số đo tóm tắt tương tự của khu vực dưới đường cong PR (.49, nếu bạn quan tâm) nhưng không chắc chắn về cách diễn giải nó. Tôi đã nghe nói rằng .8 trở lên là AUC tốt cho ROC là gì, nhưng liệu các điểm cắt chung có giống với AUC cho đường cong gợi nhớ chính xác không?
Câu trả lời:
Không có phép thuật nào cho AUC-ROC hoặc AUC-PR. Cao hơn rõ ràng là tốt hơn, nhưng nó hoàn toàn phụ thuộc vào ứng dụng.
Ví dụ: nếu bạn có thể xác định thành công các khoản đầu tư có lợi nhuận với AUC là 0,8 hoặc, đối với vấn đề đó có thể phân biệt được với cơ hội, tôi sẽ rất ấn tượng và bạn sẽ rất giàu. Mặt khác, phân loại các chữ số viết tay với AUC là 0,95 vẫn còn thấp hơn đáng kể so với hiện trạng của nghệ thuật.
Hơn nữa, mặc dù AUC-ROC tốt nhất có thể được đảm bảo ở [0,1], nhưng điều này không đúng với các đường cong gợi nhớ chính xác vì có thể có các vùng PR "không thể truy cập", tùy thuộc vào cách phân phối của lớp bị lệch. (Xem bài viết này của Boyd et al (2012) để biết chi tiết).
.49 không tuyệt vời, nhưng cách giải thích của nó khác với ROC AUC. Đối với ROC AUC, nếu bạn thu được 0,49 bằng mô hình hồi quy logistic, tôi sẽ nói rằng bạn đang làm không tốt hơn ngẫu nhiên. Đối với .49 PR AUC, tuy nhiên nó có thể không tệ đến vậy. Tôi sẽ xem xét việc xem xét độ chính xác và thu hồi của từng cá nhân, có lẽ cái này hay cái kia là những gì đang làm giảm PR AUC của bạn. Nhớ lại sẽ cho bạn biết bao nhiêu trong số 9% lớp tích cực mà bạn thực sự đoán đúng. Chính xác sẽ cho bạn biết có bao nhiêu bạn đoán tích cực mà không. (Sai tích cực). Nhớ lại 50% sẽ có nghĩa là bạn không đoán được nhiều lớp mất cân bằng của mình, nhưng có lẽ độ chính xác 50% sẽ không tệ. Phụ thuộc vào tình hình của bạn.
Một người ước tính ngẫu nhiên sẽ có PR-AUC là 0,09 trong trường hợp của bạn (kết quả dương tính 9%), vì vậy 0,49 của bạn chắc chắn là một sự gia tăng đáng kể.
Nếu đây là một kết quả tốt, chỉ có thể được đánh giá so với các thuật toán khác, nhưng bạn đã không cung cấp chi tiết về phương pháp / dữ liệu bạn đã sử dụng.
Ngoài ra, bạn có thể muốn đánh giá hình dạng của đường cong PR của mình. Đường cong PR lý tưởng đi từ góc topleft theo chiều ngang đến góc tối và thẳng xuống góc dưới cùng, dẫn đến PR-AUC là 1. Trong một số ứng dụng, đường cong PR hiển thị thay vì tăng đột biến ngay từ đầu thả lại gần với "đường ước lượng ngẫu nhiên" (đường ngang với độ chính xác 0,09 trong trường hợp của bạn). Điều này sẽ cho thấy một phát hiện tốt về kết quả tích cực "mạnh", nhưng hiệu suất kém đối với các ứng cử viên ít rõ ràng hơn.
Nếu bạn muốn tìm một ngưỡng tốt cho tham số cắt của thuật toán, bạn có thể xem xét điểm trên đường cong PR gần nhất với góc tối. Hoặc thậm chí tốt hơn, xem xét xác nhận chéo nếu có thể. Bạn có thể đạt được các giá trị chính xác và gọi lại cho một tham số cắt cụ thể thú vị hơn cho ứng dụng của bạn so với giá trị của PR-AUC. AUC là thú vị nhất khi so sánh các thuật toán khác nhau.