Phương sai xác thực chéo bỏ qua một lần

Tôi đọc đi đọc lại rằng xác thực chéo "Bỏ qua một lần" có phương sai cao do sự chồng chéo lớn của các nếp gấp đào tạo. Tuy nhiên tôi không hiểu tại sao đó là: Không phải hiệu suất của xác thực chéo sẽ rất ổn định (phương sai thấp) chính xác vì các bộ huấn luyện gần như giống nhau? Hay tôi đang hiểu sai về khái niệm "phương sai" hoàn toàn?

Tôi cũng không hoàn toàn hiểu làm thế nào LOO có thể không thiên vị, nhưng có phương sai cao? Nếu ước tính LOO bằng với giá trị ước tính thực trong kỳ vọng - làm thế nào nó có thể có phương sai cao?

Lưu ý: Tôi biết rằng có một câu hỏi tương tự ở đây: Tại sao phương sai xác thực chéo một lần (LOOCV) về ước tính trung bình cho lỗi cao? Tuy nhiên, người đã trả lời nói sau đó trong các bình luận rằng mặc dù có nhiều ý kiến ​​trái chiều, anh ta đã nhận ra rằng câu trả lời của mình là sai.

Câu hỏi này có lẽ cuối cùng sẽ bị đóng lại như là một bản sao của Phương sai và sai lệch trong xác thực chéo: tại sao CV rời đi có phương sai cao hơn? , nhưng trước khi nó xảy ra tôi nghĩ tôi sẽ biến những bình luận của mình thành một câu trả lời.

Tôi cũng không hoàn toàn hiểu làm thế nào LOO có thể không thiên vị, nhưng có phương sai cao?

Hãy xem xét một ví dụ đơn giản. Đặt giá trị thực của một tham số là . Một công cụ ước tính mang lại 0,49 , 0,51 , 0,49 , 0,51 ... là không thiên vị và có phương sai tương đối thấp, nhưng một công cụ ước tính mang lại 0,1 , 0,9 , 0,1 , 0,9 ... cũng không thiên vị nhưng có phương sai cao hơn nhiều.$0.5$$0.49,0.51,0.49,0.51...$$0.1,0.9,0.1,0.9...$

Không nên thực hiện hiệu suất của xác thực chéo là rất ổn định (phương sai thấp) vì các bộ huấn luyện gần như giống nhau?

Bạn cần suy nghĩ về phương sai trong các lần thực hiện khác nhau của toàn bộ dữ liệu. Đối với một tập dữ liệu nhất định, xác thực chéo một lần thực sự sẽ tạo ra các mô hình rất giống nhau cho mỗi lần phân tách vì các tập huấn luyện giao nhau rất nhiều (như bạn đã chú ý chính xác), nhưng tất cả các mô hình này có thể cách xa mô hình thực; trên các tập dữ liệu, chúng sẽ ở rất xa theo các hướng khác nhau, do đó phương sai rất cao.

Ít nhất đó là cách tôi hiểu nó. Vui lòng xem các chủ đề được liên kết để thảo luận thêm và các tài liệu được tham khảo để thảo luận nhiều hơn.

Phương sai cao này liên quan đến không gian của các bộ đào tạo. Đây là lý do tại sao LOOCV có phương sai cao: trong LOOCV, chúng tôi nhận được lỗi dự đoán cho mỗi quan sát, giả sử quan sát i, sử dụng toàn bộ dữ liệu quan sát trong tay ngoại trừ quan sát này. Vì vậy, giá trị dự đoán cho tôi rất phụ thuộc vào bộ dữ liệu hiện tại. Bây giờ giả sử chúng tôi quan sát một tập dữ liệu độc lập khác và phù hợp với một mô hình trên tập dữ liệu mới này. Nếu chúng ta sử dụng mô hình mới này để nhận giá trị dự đoán cho quan sát i, giá trị dự đoán có khả năng rất khác so với mô hình được đánh giá bởi LOOCV (mặc dù trung bình đúng (không thiên vị)).

Đây là trực giác đằng sau phương sai dự đoán lỗi cao trong LOOCV.

Tuy nhiên, nếu bạn đang sử dụng LOOCV để so sánh kết quả của một mô hình với các siêu âm khác nhau, tôi tin rằng bạn có thể sử dụng LOOCV một cách an toàn để ước tính các lỗi dự đoán, với điều kiện giá trị thực của lỗi dự đoán không phải là mối quan tâm của bạn, nghĩa là bạn chỉ muốn so sánh các mô hình khác nhau có tập huấn luyện được quan sát và bạn không quan tâm đến lỗi thực sự được ước tính.

Điều đó nói rằng, theo nguyên tắc thông thường, nếu bạn có một mẫu nhỏ, hãy sử dụng LOOCV, nếu không, hãy sử dụng CV gấp k với giá trị nhỏ hơn cho k.