So sánh phân phối hiệu suất tổng quát hóa

Giả sử rằng tôi có hai phương pháp học tập cho một vấn đề phân loại , và , và tôi ước tính hiệu suất khái quát hóa của chúng với một cái gì đó như xác nhận chéo lặp lại hoặc bootstrapping. Từ quy trình này, tôi nhận được phân phối điểm và cho mỗi phương thức qua các lần lặp lại này (ví dụ: phân phối giá trị ROC AUC cho mỗi mô hình).$A$$B$ $P_A$$P_B$

Nhìn vào các bản phân phối này, có thể là nhưng đó là (nghĩa là hiệu suất tổng quát hóa dự kiến ​​của cao hơn , nhưng có sự không chắc chắn hơn về ước tính này).$\mu_A \ge \mu_B$$\sigma_A \ge \sigma_B$$A$$B$

Tôi nghĩ rằng điều này được gọi là tiến thoái lưỡng nan sai lệch trong hồi quy.

Tôi có thể sử dụng phương pháp toán học nào để so sánh và và cuối cùng đưa ra quyết định sáng suốt về việc sử dụng mô hình nào?$P_A$$P_B$

Lưu ý: Để đơn giản, tôi đề cập đến hai phương pháp và ở đây, nhưng tôi quan tâm đến các phương pháp có thể được sử dụng để so sánh phân phối điểm của ~ 1000 phương pháp học (ví dụ từ tìm kiếm dạng lưới) và cuối cùng thực hiện một quyết định cuối cùng về việc sử dụng mô hình nào.$A$$B$

Nếu chỉ có hai phương pháp A và B, tôi sẽ tính xác suất cho phân vùng kiểm tra / huấn luyện tùy ý rằng lỗi (theo một số liệu hiệu suất phù hợp) cho mô hình A thấp hơn lỗi cho mô hình B. Nếu xác suất này lớn hơn 0,5, tôi đã chọn mô hình A và nếu không thì mô hình B (cf Mann-Whitney U test?) Tuy nhiên, tôi nghi ngờ rằng cuối cùng sẽ chọn mô hình với giá trị trung bình thấp hơn trừ khi các phân phối của thống kê hiệu suất là rất không -đối xứng.

Mặt khác, đối với tìm kiếm dạng lưới, tình huống hơi khác một chút vì bạn không thực sự so sánh các phương thức khác nhau, mà thay vào đó điều chỉnh các tham số (siêu) của cùng một mô hình để phù hợp với một mẫu dữ liệu hữu hạn (trong trường hợp này là gián tiếp qua chéo -Thẩm định). Tôi đã thấy rằng loại điều chỉnh này có thể rất dễ bị khớp quá mức, xem bài viết của tôi

Gavin C. Cawley, Nicola LC Talbot, "Về sự phù hợp quá mức trong lựa chọn mô hình và xu hướng lựa chọn tiếp theo trong đánh giá hiệu suất", Tạp chí nghiên cứu máy học, 11 (tháng 7): 2079−2107, 2010 ( www )

Tôi có một bài báo đánh giá cho thấy rằng có lẽ tốt nhất là sử dụng lưới tương đối thô cho các máy kernel (ví dụ: SVM) để tránh phù hợp với tiêu chí lựa chọn mô hình. Một cách tiếp cận khác (mà tôi chưa nghiên cứu, vì vậy, hãy cẩn thận!) Sẽ chọn mô hình có sai số cao nhất không thua kém về mặt thống kê so với mô hình tốt nhất được tìm thấy trong tìm kiếm lưới (mặc dù đó có thể là một cách tiếp cận khá bi quan, đặc biệt là cho các bộ dữ liệu nhỏ).

Mặc dù vậy, giải pháp thực sự có lẽ không phải là tối ưu hóa các tham số bằng cách sử dụng tìm kiếm dạng lưới, mà là trung bình trên các giá trị tham số, theo cách tiếp cận Bayes, hoặc chỉ là một phương pháp tập hợp. Nếu bạn không tối ưu hóa, sẽ khó khăn hơn để phù hợp!