Xác thực chéo một lần một: Ước tính tương đối không thiên vị về hiệu suất tổng quát hóa?

Tôi đã đọc được rằng xác thực chéo một lần cung cấp một ước tính không thiên vị tương đối về hiệu suất khái quát hóa thực sự (ví dụ ở đây ) và đây là một đặc tính có lợi của CV rời khỏi.

Tuy nhiên, tôi không thấy điều này diễn ra như thế nào từ các thuộc tính của CV rời. Tại sao độ lệch của công cụ ước tính này thấp khi so sánh với những người khác?

Cập nhật:

Tôi tiếp tục điều tra chủ đề và tôi tin rằng nó phải liên quan đến thực tế là công cụ ước tính này ít bi quan hơn so với xác nhận K-Fold, vì nó sử dụng tất cả dữ liệu trừ một trường hợp, nhưng sẽ rất tuyệt khi đọc toán học đạo hàm này.

Tôi không nghĩ rằng cần phải có một dẫn xuất toán học về thực tế là trong ML, với việc tăng quy mô kiểm tra đào tạo, tỷ lệ lỗi dự đoán sẽ giảm. LOO - so với xác nhận k-gấp - tối đa hóa kích thước tập huấn luyện, như bạn đã quan sát.

Tuy nhiên, LOO có thể nhạy cảm với "kết nghĩa" - khi bạn có các mẫu tương quan cao, với LOO bạn có đảm bảo rằng với mỗi mẫu được sử dụng làm bộ thử nghiệm, "cặp song sinh" còn lại sẽ nằm trong bộ huấn luyện. Điều này có thể được chẩn đoán bằng sự giảm độ chính xác nhanh chóng khi LOO được thay thế bằng, ví dụ, xác định chéo 10 lần (hoặc xác nhận phân tầng, ví dụ, nếu các mẫu được ghép nối). Theo kinh nghiệm của tôi, điều này có thể dẫn đến một thảm họa nếu nhìn chung tập dữ liệu của bạn nhỏ.

Trong một thế giới hoàn hảo, bạn cũng có một bộ xác nhận mà bạn không bao giờ sử dụng để đào tạo mô hình của mình, ngay cả trong cài đặt CV. Bạn giữ nó cho mục đích duy nhất là kiểm tra hiệu năng cuối cùng của một mô hình trước khi bạn gửi giấy :-)