Lựa chọn giữa các hàm mất để phân loại nhị phân

Tôi làm việc trong một lĩnh vực có vấn đề nơi mọi người thường báo cáo ROC-AUC hoặc AveP (độ chính xác trung bình). Tuy nhiên, gần đây tôi đã tìm thấy các bài báo tối ưu hóa Mất Log thay vào đó, trong khi những người khác báo cáo Mất bản lề .

Trong khi tôi hiểu cách tính các số liệu này, tôi gặp khó khăn trong việc hiểu sự đánh đổi giữa chúng và điều này tốt cho chính xác những gì.

Khi nói đến ROC-AUC vs độ chính xác cao Nhớ lại, chủ đề này thảo luận cách ROC-AUC-tối đa hóa có thể được coi là sử dụng một tiêu chí tối ưu hóa mất mát để gây bất lợi "bảng xếp hạng âm đúng ít nhất lớn như một dương true" (giả định rằng cao điểm tương ứng với dương tính). Ngoài ra, chủ đề khác này cũng cung cấp một cuộc thảo luận hữu ích về ROC-AUC trái ngược với các số liệu Chính xác-Nhớ lại .

Tuy nhiên, đối với loại vấn đề nào thì mất log sẽ được ưu tiên hơn, giả sử, ROC-AUC , AveP hoặc mất bản lề ? Quan trọng nhất, loại câu hỏi nào người ta nên hỏi về vấn đề khi lựa chọn giữa các hàm mất mát này để phân loại nhị phân?

Tài liệu tham khảo hiện đại về vấn đề này là [1]. Về cơ bản, nó cho thấy rằng tất cả các hàm mất mà bạn chỉ định sẽ hội tụ vào trình phân loại Bayes, với tốc độ nhanh.

Việc lựa chọn giữa các mẫu này cho các mẫu hữu hạn có thể được điều khiển bởi một số đối số khác nhau:

1. Nếu bạn muốn khôi phục xác suất sự kiện (và không chỉ phân loại), thì mất logistic logistic hoặc bất kỳ mô hình tuyến tính tổng quát nào khác (hồi quy Probit, hồi quy log-log-log, ...) là một ứng cử viên tự nhiên.
2. Nếu bạn chỉ nhắm vào phân loại, SVM có thể là một lựa chọn ưu tiên, vì nó chỉ nhắm mục tiêu các quan sát tại vị trí phân loại và bỏ qua quan sát xa, do đó giảm bớt tác động của tính trung thực của mô hình tuyến tính giả định.
3. Nếu bạn không có nhiều quan sát, thì lợi thế trong 2 có thể là một bất lợi.
4. Có thể có sự khác biệt về tính toán: cả trong vấn đề tối ưu hóa đã nêu và trong triển khai cụ thể mà bạn đang sử dụng.
5. Dòng dưới cùng - bạn có thể chỉ cần thử tất cả chúng và chọn người biểu diễn tốt nhất.

[1] Bartlett, Peter L, Michael I Jordan và Jon D McAuliffe. Lồi lõm, phân loại và giới hạn rủi ro. Tạp chí của Hiệp hội thống kê Hoa Kỳ 101, số. 473 (Tháng 3 năm 2006): 138 Hàng56. doi: 10.1198 / 016214505000000907.