Làm thế nào để xác thực chéo một lần hoạt động? Làm thế nào để chọn mô hình cuối cùng trong số mô hình khác nhau?

Tôi có một số dữ liệu và tôi muốn xây dựng một mô hình (giả sử mô hình hồi quy tuyến tính) từ dữ liệu này. Trong bước tiếp theo, tôi muốn áp dụng Xác thực chéo một lần (LOOCV) trên mô hình để xem nó hoạt động tốt như thế nào.

Nếu tôi hiểu đúng LOOCV, tôi sẽ xây dựng một mô hình mới cho từng mẫu của mình (bộ thử nghiệm) bằng cách sử dụng mọi mẫu ngoại trừ mẫu này (bộ huấn luyện). Sau đó, tôi sử dụng mô hình để dự đoán tập kiểm tra và tính toán các lỗi .$(\text{predicted} - \text{actual})$

Trong bước tiếp theo, tôi tổng hợp tất cả các lỗi được tạo bằng hàm đã chọn, ví dụ như lỗi bình phương. Tôi có thể sử dụng các giá trị này để đánh giá chất lượng (hoặc mức độ phù hợp) của mô hình.

Câu hỏi: Mô hình nào là mô hình mà các giá trị chất lượng này áp dụng cho, vậy tôi nên chọn mô hình nào nếu tôi thấy các số liệu được tạo từ LOOCV phù hợp với trường hợp của tôi? LOOCV đã xem xét mô hình khác nhau (trong đó là cỡ mẫu); Tôi nên chọn mô hình nào?$n$$n$

• Đây có phải là mô hình sử dụng tất cả các mẫu? Mô hình này không bao giờ được tính toán trong quá trình LOOCV!
• Đây có phải là mô hình có ít lỗi nhất?

Tốt nhất nên nghĩ về xác thực chéo như một cách ước tính hiệu suất tổng quát hóa của các mô hình được tạo bởi một thủ tục cụ thể, thay vì của chính mô hình. Xác thực chéo một lần về cơ bản là ước tính hiệu suất tổng quát hóa của một mô hình được đào tạo trên các mẫu dữ liệu , nói chung là một ước tính hơi bi quan về hiệu suất của một mô hình được đào tạo trên mẫu.$n-1$$n$

Thay vì chọn một mô hình, điều cần làm là điều chỉnh mô hình phù hợp với tất cả dữ liệu và sử dụng LOO-CV để đưa ra ước tính hơi bảo thủ về hiệu suất của mô hình đó.

Tuy nhiên, xin lưu ý rằng LOOCV có phương sai cao (giá trị bạn sẽ nhận được thay đổi rất nhiều nếu bạn sử dụng một mẫu dữ liệu ngẫu nhiên khác nhau) thường khiến nó trở thành một lựa chọn ước tính xấu để đánh giá hiệu suất, mặc dù nó gần như không thiên vị. Tôi sử dụng tất cả thời gian để lựa chọn mô hình, nhưng thực sự chỉ vì nó rẻ (gần như miễn phí cho các mô hình kernel tôi đang làm việc).