Lạm dụng xác thực chéo (hiệu suất báo cáo cho giá trị siêu tham số tốt nhất)

Gần đây tôi đã bắt gặp một bài báo đề xuất sử dụng trình phân loại k-NN trên một tập dữ liệu cụ thể. Các tác giả đã sử dụng tất cả các mẫu dữ liệu có sẵn để thực hiện xác thực chéo k cho các giá trị k khác nhau và báo cáo kết quả xác thực chéo của cấu hình siêu tham số tốt nhất.

Theo hiểu biết của tôi, kết quả này là sai lệch và họ nên giữ lại một bộ kiểm tra riêng để có được ước tính chính xác cho các mẫu không được sử dụng để thực hiện tối ưu hóa siêu tham số.

Tôi có đúng không Bạn có thể cung cấp một số tài liệu tham khảo (tốt nhất là các tài liệu nghiên cứu) mô tả việc lạm dụng xác nhận chéo này không?

Có, có vấn đề với việc chỉ báo cáo kết quả CV gấp. Bạn có thể sử dụng, ví dụ ba ấn phẩm sau đây cho mục đích của bạn (mặc dù có nhiều hơn ở ngoài đó, tất nhiên) để hướng mọi người đi đúng hướng:

• Varma & Simon (2006). "Xu hướng trong ước tính lỗi khi sử dụng xác thực chéo cho lựa chọn mô hình." BMC Tin sinh học , 7: 91

• Cawley & Talbot (2010). "Về sự phù hợp quá mức trong lựa chọn mô hình và xu hướng lựa chọn tiếp theo trong đánh giá hiệu suất." Tạp chí Nghiên cứu Máy học , 11: 2079-2107

• $K$

Cá nhân tôi thích những điều đó bởi vì họ cố gắng nêu các vấn đề bằng tiếng Anh đơn giản hơn là môn Toán.