Giả sử rằng tôi có hai phương pháp học tập cho một vấn đề phân loại , và , và tôi ước tính hiệu suất khái quát hóa của chúng với một cái gì đó như xác nhận chéo lặp lại hoặc bootstrapping. Từ quy trình này, tôi nhận được phân phối điểm và cho mỗi phương thức qua các lần lặp lại này (ví dụ: phân phối giá trị ROC AUC cho mỗi mô hình).
Nhìn vào các bản phân phối này, có thể là nhưng đó là (nghĩa là hiệu suất tổng quát hóa dự kiến của cao hơn , nhưng có sự không chắc chắn hơn về ước tính này).
Tôi nghĩ rằng điều này được gọi là tiến thoái lưỡng nan sai lệch trong hồi quy.
Tôi có thể sử dụng phương pháp toán học nào để so sánh và và cuối cùng đưa ra quyết định sáng suốt về việc sử dụng mô hình nào?
Lưu ý: Để đơn giản, tôi đề cập đến hai phương pháp và ở đây, nhưng tôi quan tâm đến các phương pháp có thể được sử dụng để so sánh phân phối điểm của ~ 1000 phương pháp học (ví dụ từ tìm kiếm dạng lưới) và cuối cùng thực hiện một quyết định cuối cùng về việc sử dụng mô hình nào.