Xác thực chéo K-Fold so với Monte Carlo

Tôi đang cố gắng học các phương pháp xác nhận chéo khác nhau, chủ yếu với ý định áp dụng các kỹ thuật phân tích đa biến có giám sát. Hai tôi đã đi qua là kỹ thuật xác thực chéo K-Fold và Monte Carlo. Tôi đã đọc rằng K-Fold là một biến thể của Monte Carlo nhưng tôi không chắc là tôi hoàn toàn hiểu những gì tạo nên định nghĩa về Monte Carlo. Ai đó có thể vui lòng giải thích sự khác biệt giữa hai phương pháp này?

$k$ Xác thực chéo

Giả sử bạn có 100 điểm dữ liệu. Để xác thực chéo lần, 100 điểm này được chia thành 'nếp gấp' có kích thước bằng nhau và loại trừ lẫn nhau. Với = 10, bạn có thể chỉ định các điểm 1-10 để gấp # 1, 11-20 để gấp # 2, v.v., hoàn thành bằng cách chỉ định các điểm 91-100 để gấp # 10. Tiếp theo, chúng tôi chọn một lần để đóng vai trò là tập kiểm tra và sử dụng các lần gấp còn lại để tạo thành dữ liệu huấn luyện. Đối với lần chạy đầu tiên, bạn có thể sử dụng điểm 1-10 làm tập kiểm tra và 11-100 làm tập huấn luyện. Lần chạy tiếp theo sau đó sẽ sử dụng các điểm 11-20 làm bộ kiểm tra và huấn luyện trên các điểm 1-10 cộng với 21-100, và cứ thế, cho đến khi mỗi lần được sử dụng một lần làm bộ kiểm tra.$k$$k$$k$$k-1$

Xác nhận chéo Monte-Carlo

Monte Carlo hoạt động hơi khác. Bạn chọn ngẫu nhiên (không thay thế) một số phần dữ liệu của bạn để tạo thành tập huấn luyện, sau đó gán phần còn lại của các điểm cho tập kiểm tra. Quá trình này sau đó được lặp lại nhiều lần, tạo ra (ngẫu nhiên) các phân vùng thử nghiệm và đào tạo mới mỗi lần. Ví dụ: giả sử bạn chọn sử dụng 10% dữ liệu của mình làm dữ liệu thử nghiệm. Sau đó, bài kiểm tra của bạn trên đại diện số 1 có thể là các điểm 64, 90 , 63, 42 , 65, 49, 10, 64, 96 và 48. Trong lần chạy tiếp theo, bộ kiểm tra của bạn có thể là 90 , 60, 23, 67, 16, 78, 42 , 17, 73 và 26. Vì các phân vùng được thực hiện độc lập cho mỗi lần chạy, nên cùng một điểm có thể xuất hiện trong tập kiểm tra nhiều lần,đó là sự khác biệt chính giữa Monte Carlo và xác nhận chéo .

So sánh

Mỗi phương pháp đều có ưu điểm và nhược điểm riêng. Theo xác nhận chéo, mỗi điểm được kiểm tra chính xác một lần, điều này có vẻ công bằng. Tuy nhiên, xác thực chéo chỉ khám phá một vài cách có thể mà dữ liệu của bạn có thể được phân vùng. Monte Carlo cho phép bạn khám phá một số phân vùng có thể hơn, mặc dù bạn không thể có được tất cả chúng - có cách có thể để chia 50/50 điểm dữ liệu bộ(!).$\binom{100}{50} \approx 10^{28}$

Nếu bạn đang cố gắng thực hiện suy luận (nghĩa là so sánh thống kê hai thuật toán), việc tính trung bình các kết quả của lần chạy xác thực chéo sẽ giúp bạn ước tính (gần như) không thiên vị về hiệu suất của thuật toán, nhưng với độ sai lệch cao (như bạn mong đợi chỉ có 5 hoặc 10 điểm dữ liệu). Vì về nguyên tắc, bạn có thể chạy nó miễn là bạn muốn / có thể đủ khả năng, xác thực chéo Monte Carlo có thể cung cấp cho bạn một ước tính ít biến đổi hơn, nhưng sai lệch hơn.$k$

Một số cách tiếp cận hợp nhất cả hai, như trong xác nhận chéo 5x2 (xem Dietterich (1998) cho ý tưởng, mặc dù tôi nghĩ rằng đã có một số cải tiến hơn nữa kể từ đó), hoặc bằng cách sửa lỗi cho sai lệch (ví dụ: Nadeau và Bengio, 2003 ) .

Giả sử là kích thước của tập dữ liệu, là số tập con , là kích thước của tập huấn luyện và là kích thước của tập xác thực. Do đó, cho xác thực chéo -nhân và cho xác thực chéo Monte Carlo.$N$$k$$k$$n_t$$n_v$$N = k \times n_v$$k$$N = n_t + n_v$

$k$ -fold cross-validation (kFCV) chia điểm dữ liệu vào tập con loại trừ lẫn nhau của kích thước bằng nhau. Quá trình sau đó loại bỏ một trong các tập con dưới dạng tập xác thực và đào tạo trên các tập con còn lại. Quá trình này được lặp lại lần, bỏ đi một trong các tập con mỗi lần. Kích thước của có thể dao động từ đến ( được gọi là xác thực chéo một lần). Các tác giả trong [2] đề nghị cài đặt hoặc .$N$$k$$k$$k$$k$$k$$N$$2$$k = N$$k = 5$$10$

Xác thực chéo Monte Carlo (MCCV) chỉ đơn giản là chia các điểm dữ liệu thành hai tập con và bằng cách lấy mẫu, mà không cần thay thế, điểm dữ liệu . Mô hình sau đó được đào tạo về tập hợp con và được xác thực trên tập hợp con . Có tồn tại tập huấn luyện duy nhất, nhưng MCCV tránh sự cần thiết phải chạy nhiều lần lặp này. Zhang [3] cho thấy việc chạy MCCV cho các lần lặp có kết quả gần với xác thực chéo trên tất cả các bộ huấn luyện duy nhất . Cần lưu ý rằng các tài liệu thiếu nghiên cứu cho N lớn. $N$$n_t$$n_v$$n_t$$n_t$$n_v$${N\choose n_t}$$N^2$${N\choose n_t}$

Sự lựa chọn của và ảnh hưởng đến sự đánh đổi sai lệch / sai lệch. hoặc càng lớn , độ lệch càng thấp và phương sai càng cao. Các tập huấn luyện lớn hơn giống nhau hơn giữa các lần lặp, do đó quá phù hợp với dữ liệu huấn luyện. Xem [2] để biết thêm về cuộc thảo luận này. Độ lệch và phương sai của kFCV và MCCV là khác nhau, nhưng độ lệch của hai phương thức có thể được thực hiện bằng nhau bằng cách chọn mức và thích hợp . Các giá trị của độ lệch và phương sai cho cả hai phương pháp được thể hiện trong [1] (bài viết này đề cập đến MCCV như mô hình thử nghiệm học tập lặp lại).$k$$n_t$$k$$n_t$$k$$n_t$

[1] Burman, P. (1989). Một nghiên cứu so sánh về xác nhận chéo thông thường, xác thực chéo và các phương pháp mô hình thử nghiệm kéo dài lặp đi lặp lại. Sao chổi 76 503-514.$v$

[2] Hastie, T., Tibshirani, R. và Friedman, J. (2011). Các yếu tố của học thống kê: Khai thác dữ liệu, suy luận và dự đoán. Tái bản lần thứ hai New York: Mùa xuân.

[3] Zhang, P. (1993). Lựa chọn mô hình thông qua xác nhận chéo Muiltprint. Ann. Thống kê 21 299

Hai câu trả lời khác rất hay, tôi sẽ chỉ thêm hai hình ảnh cũng như một từ đồng nghĩa.

Xác thực chéo K-Fold (kFCV):

Xác thực chéo Monte Carlo (MCCV) = Xác thực lấy mẫu phụ ngẫu nhiên lặp lại (RRSSV):

Tài liệu tham khảo:

Các hình ảnh đến từ (1) ( trang 64 và 65 ), và từ đồng nghĩa được đề cập trong (1) và (2).

• (1) Remesan, Renji và Jimson Mathew. Mô hình hóa dữ liệu thủy văn: Phương pháp nghiên cứu trường hợp . Tập 1. Mùa xuân năm 2014.

• (2) Dubitzky, Werner, Martin Granzow và Daniel P. Berrar, biên tập. Nguyên tắc cơ bản của khai thác dữ liệu trong genomics và proteomics . Springer Science & Business Media, 2007.