Bỏ qua các cân nhắc về sức mạnh, có lý do nào để tin rằng việc tăng số lần trong xác thực chéo dẫn đến lựa chọn / xác nhận mô hình tốt hơn (nghĩa là số lần gấp càng cao càng tốt)?

Đưa ra lập luận đến mức cực đoan, việc xác thực chéo một lần có nhất thiết dẫn đến các mô hình tốt hơn so với xác thực chéo -Fold không?$K$

Một số nền tảng cho câu hỏi này: Tôi đang giải quyết một vấn đề với rất ít trường hợp (ví dụ 10 tích cực và 10 tiêu cực), và tôi sợ rằng các mô hình của tôi có thể không khái quát tốt / sẽ phù hợp với quá ít dữ liệu.

Xác thực chéo một lần thường không dẫn đến hiệu suất tốt hơn so với K-Fold và có nhiều khả năng tệ hơn , vì nó có phương sai tương đối cao (nghĩa là giá trị của nó thay đổi nhiều hơn đối với các mẫu dữ liệu khác nhau so với giá trị cho xác nhận chéo k-gấp). Điều này không tốt trong tiêu chí lựa chọn mô hình vì nó có nghĩa là tiêu chí lựa chọn mô hình có thể được tối ưu hóa theo cách chỉ khai thác biến thể ngẫu nhiên trong mẫu dữ liệu cụ thể, thay vì thực hiện các cải tiến chính xác về hiệu suất, nghĩa là bạn có nhiều khả năng phù hợp hơn tiêu chí lựa chọn mô hình. Lý do xác thực chéo một lần được sử dụng trong thực tế là đối với nhiều mô hình, nó có thể được đánh giá rất rẻ như một sản phẩm phụ của việc lắp mô hình.

Nếu chi phí tính toán không phải là vấn đề chủ yếu, thì cách tiếp cận tốt hơn là thực hiện xác nhận chéo k-lặp lại, trong đó quy trình xác thực chéo k-lặp được lặp lại với các phân vùng ngẫu nhiên khác nhau thành các tập con k rời nhau mỗi lần. Điều này làm giảm phương sai.

Nếu bạn chỉ có 20 mẫu, rất có thể bạn sẽ gặp phải sự phù hợp với tiêu chí lựa chọn mô hình, đó là một cạm bẫy bị lãng quên nhiều trong thống kê và học máy (phích cắm không biết xấu hổ: xem bài viết của tôi về chủ đề này). Bạn có thể tốt hơn nên chọn một mô hình tương đối đơn giản và cố gắng không tối ưu hóa nó rất tích cực, hoặc áp dụng cách tiếp cận Bayes và trung bình trên tất cả các lựa chọn mô hình, được cân nhắc bởi tính hợp lý của chúng. Tối ưu hóa IMHO là gốc rễ của mọi tội lỗi trong thống kê, vì vậy tốt hơn hết là không tối ưu hóa nếu bạn không phải và tối ưu hóa một cách thận trọng bất cứ khi nào bạn làm.

Cũng lưu ý nếu bạn định thực hiện lựa chọn mô hình, bạn cần sử dụng một cái gì đó như xác thực chéo lồng nhau nếu bạn cũng cần một ước tính hiệu suất (nghĩa là bạn cần xem xét lựa chọn mô hình như một phần không thể thiếu của quy trình khớp mô hình và xác thực chéo cũng).

Chọn số K gấp bằng cách xem xét đường cong học tập

$K$

$K$

Tóm lại, nếu đường cong học tập có độ dốc đáng kể ở kích thước tập huấn đã cho, xác thực chéo năm hoặc mười lần sẽ đánh giá quá cao lỗi dự đoán thực. Việc thiên vị này có phải là một nhược điểm trong thực tế hay không phụ thuộc vào mục tiêu. Mặt khác, xác thực chéo một lần có độ lệch thấp nhưng có thể có phương sai cao.

Một hình ảnh trực quan bằng cách sử dụng một ví dụ đồ chơi

Để hiểu được lập luận này một cách trực quan, hãy xem xét ví dụ đồ chơi sau đây trong đó chúng ta đang khớp một đa thức bậc 4 với một đường cong hình sin ồn ào:

$1 -$$\pm$

Thảo luận về lập luận

Hiệu suất của mô hình cải thiện đáng kể khi kích thước đào tạo tăng lên 50 quan sát. Việc tăng số lượng hơn nữa lên 200 chẳng hạn chỉ mang lại lợi ích nhỏ. Hãy xem xét hai trường hợp sau:

1. $5$$K$

2. $50$$5$$K$

[Cập nhật] - Nhận xét về phương pháp luận

Bạn có thể tìm thấy mã cho mô phỏng này ở đây . Cách tiếp cận như sau:

1. $sin(x) + \epsilon$$\epsilon$
2. $i$$N$
3. $i$
   • $K$
   • Lưu trữ lỗi bình phương trung bình (MSE) trên các nếp gấp K
4. $i$$i$$K$
5. $K$$\{ 5,...,N\}$

Một cách tiếp cận khác là không lấy mẫu lại một tập dữ liệu mới ở mỗi lần lặp và thay vào đó, chia sẻ lại cùng một tập dữ liệu mỗi lần. Điều này dường như cho kết quả tương tự.