Đánh giá các phân loại: các đường cong học tập và các đường cong ROC

Tôi muốn so sánh 2 phân loại khác nhau cho một vấn đề phân loại văn bản đa kính sử dụng các bộ dữ liệu đào tạo lớn. Tôi nghi ngờ liệu tôi nên sử dụng đường cong ROC hay học đường cong để so sánh 2 phân loại.

Một mặt, các đường cong học tập rất hữu ích cho việc quyết định kích thước của tập dữ liệu huấn luyện, vì bạn có thể tìm thấy kích thước của tập dữ liệu mà trình phân loại ngừng học (và có thể xuống cấp). Vì vậy, phân loại tốt nhất trong trường hợp này có thể là phân loại đạt độ chính xác cao nhất với kích thước tập dữ liệu nhỏ nhất.

Mặt khác, các đường cong ROC cho phép bạn tìm thấy một điểm với sự đánh đổi đúng giữa độ nhạy / độ đặc hiệu. Trình phân loại tốt nhất trong trường hợp này chỉ là phần gần với phần trên cùng bên trái, với TPR cao nhất cho bất kỳ FPR nào.

Tôi có nên sử dụng cả hai phương pháp đánh giá? Có thể cho một phương pháp có đường cong học tập tốt hơn để có đường cong ROC tồi tệ hơn và ngược lại?

Đường cong học tập chỉ là một công cụ chẩn đoán, cho bạn biết mô hình của bạn học nhanh như thế nào và liệu toàn bộ phân tích của bạn không bị mắc kẹt trong một khu vực kỳ quặc của các tập hợp quá nhỏ / tập hợp quá nhỏ (nếu áp dụng). Phần duy nhất của âm mưu này rất thú vị để đánh giá mô hình là phần cuối của nó, tức là hiệu suất cuối cùng - nhưng điều này không cần một âm mưu được báo cáo.
Chọn một mô hình dựa trên đường cong học tập khi bạn phác thảo trong câu hỏi của mình là một ý tưởng tồi, bởi vì bạn có khả năng chọn một mô hình tốt nhất trong việc cung cấp quá nhiều trên một tập mẫu quá nhỏ.

Giới thiệu về các ROC ... Đường cong ROC là một phương pháp để đánh giá các mô hình nhị phân tạo ra điểm tin cậy rằng một đối tượng thuộc về một lớp; cũng có thể để tìm cho họ các ngưỡng tốt nhất để chuyển đổi chúng thành một phân loại thực tế.
Những gì bạn mô tả là một ý tưởng để biểu diễn hiệu suất của bộ phân loại của bạn dưới dạng phân tán TPR / FPR trong không gian ROC và sử dụng tiêu chí gần nhất từ ​​góc trên xuống bên trái để chọn điều này cân bằng tốt nhất giữa việc tạo ra cảnh báo sai và bỏ lỡ - - mục tiêu cụ thể này có thể đạt được một cách thanh lịch hơn bằng cách chỉ cần chọn mô hình có điểm F tốt nhất (trung bình hài hòa của độ chính xác và thu hồi).