Đào tạo với bộ dữ liệu đầy đủ sau khi xác nhận chéo?

Có phải luôn luôn là một ý tưởng tốt để đào tạo với bộ dữ liệu đầy đủ sau khi xác thực chéo ? Nói cách khác, là nó ok để đào tạo với tất cả các mẫu trong tập dữ liệu của tôi và không có khả năng để kiểm tra xem đặc biệt phù hợp này overfits ?

Một số nền tảng về vấn đề:

Giả sử tôi có một gia đình người mẫu được tham số hóa bởi . Cũng nói rằng tôi có một tập hợp các điểm dữ liệu và tôi thực hiện lựa chọn mô hình với xác thực chéo k-gấp để chọn mô hình tổng quát hóa dữ liệu tốt nhất.$\vec\alpha$$N$

Để chọn mô hình, tôi có thể thực hiện tìm kiếm (ví dụ: tìm kiếm dạng lưới) trên , ví dụ: chạy xác thực chéo k-Fold cho mỗi ứng cử viên. Trong mỗi lần xác thực chéo, tôi kết thúc với mô hình đã học .$\vec\alpha$ $\beta_\alpha$

Điểm của việc xác thực chéo là ở mỗi nếp gấp này, tôi có thể kiểm tra xem mô hình đã học có quá phù hợp hay không, bằng cách kiểm tra nó trên "dữ liệu không nhìn thấy". Tùy thuộc vào kết quả, tôi có thể chọn mô hình đã học cho các tham số mà khái quát nhất trong quá trình xác thực chéo trong tìm kiếm lưới.$\beta_\text{best}$$\vec\alpha_\text{best}$

Bây giờ, nói rằng sau khi chọn mô hình , tôi muốn sử dụng tất cả các điểm trong tập dữ liệu của mình và hy vọng tìm hiểu một mô hình tốt hơn. Để làm điều này, tôi có thể sử dụng các tham số tương ứng với mô hình mà tôi đã chọn trong quá trình chọn mô hình và sau đó, sau khi đào tạo về bộ dữ liệu đầy đủ, tôi sẽ có được một mô hình đã học mới . Vấn đề là, nếu tôi sử dụng tất cả các điểm trong tập dữ liệu của tôi cho đào tạo, tôi không thể kiểm tra nếu mới học được mô hình này overfits trên bất kỳ dữ liệu vô hình. Cách đúng đắn để suy nghĩ xung quanh vấn đề này là gì?$N$$\vec\alpha_{best}$$\beta_{full}$ $\beta_{full}$

Cách nghĩ về xác nhận chéo là ước tính hiệu suất thu được bằng cách sử dụng phương pháp xây dựng mô hình, thay vì ước tính hiệu suất của mô hình.

Nếu bạn sử dụng xác thực chéo để ước tính các siêu đường kính của một mô hình ( s) và sau đó sử dụng các tham số siêu đó để khớp một mô hình với toàn bộ dữ liệu, thì điều đó tốt, miễn là bạn nhận ra rằng ước tính xác thực chéo hiệu suất có khả năng là (có thể đáng kể) thiên vị lạc quan. Điều này là do một phần của mô hình (siêu tham số) đã được chọn để giảm thiểu hiệu suất xác thực chéo, do đó, nếu thống kê xác thực chéo có phương sai khác không (và nó sẽ) có khả năng khớp quá mức tiêu chí lựa chọn mô hình.$\alpha$

Nếu bạn muốn chọn siêu tham số và ước tính hiệu suất của mô hình kết quả thì bạn cần thực hiện xác thực chéo lồng nhau, trong đó xác thực chéo bên ngoài được sử dụng để đánh giá hiệu suất của mô hình và trong mỗi lần gấp chéo xác nhận được sử dụng để xác định các siêu tham số riêng biệt trong mỗi lần. Bạn xây dựng mô hình cuối cùng bằng cách sử dụng xác thực chéo trên toàn bộ để chọn siêu tham số và sau đó xây dựng trình phân loại trên toàn bộ tập dữ liệu bằng cách sử dụng siêu tham số được tối ưu hóa.

Điều này tất nhiên là tốn kém về mặt tính toán, nhưng đáng giá vì sự thiên vị được đưa ra bởi ước tính hiệu suất không phù hợp có thể lớn. Xem giấy của tôi

GC Cawley và NLC Talbot, Quá phù hợp trong lựa chọn mô hình và sai lệch lựa chọn tiếp theo trong đánh giá hiệu suất, Tạp chí Nghiên cứu Máy học, 2010. Nghiên cứu, tập. 11, trang 2079-2107, tháng 7 năm 2010 ( www , pdf )

Tuy nhiên, vẫn có thể có sự phù hợp quá mức trong lựa chọn mô hình (xác thực chéo lồng nhau chỉ cho phép bạn kiểm tra nó). Một phương pháp tôi thấy hữu ích là thêm một thuật ngữ chính quy vào lỗi xác thực chéo để xử phạt các giá trị siêu tham số có khả năng dẫn đến các mô hình quá phức tạp, xem

GC Cawley và NLC Talbot, Ngăn chặn sự phù hợp quá mức trong lựa chọn mô hình thông qua việc chính quy hóa các tham số Bayes, Tạp chí Nghiên cứu Máy học, tập 8, trang 841-861, tháng 4 năm 2007 ( www , pdf )

Vì vậy, câu trả lời cho câu hỏi của bạn là (i) có, bạn nên sử dụng bộ dữ liệu đầy đủ để tạo mô hình cuối cùng của mình vì càng sử dụng nhiều dữ liệu thì càng có khả năng khái quát tốt nhưng (ii) đảm bảo bạn có được ước tính hiệu suất không thiên vị thông qua xác thực chéo lồng nhau và có khả năng xem xét xử phạt thống kê xác thực chéo để tiếp tục tránh sự phù hợp quá mức trong lựa chọn mô hình.

Chỉ cần thêm vào câu trả lời bằng @ mark999, caretgói Max Kuhn (Phân loại và đào tạo hồi quy) là nguồn toàn diện nhất trong R để lựa chọn mô hình dựa trên xác thực chéo bootstrap hoặc CV N-Fold và một số sơ đồ khác.

Không bỏ qua sự tuyệt vời của rmsgói, nhưng caretcho phép bạn phù hợp với hầu hết mọi phương pháp học tập có sẵn trong R, trong khi validatechỉ hoạt động với rmscác phương thức (tôi nghĩ).

Các caretgói là một cơ sở hạ tầng duy nhất để trước xử lý dữ liệu, phù hợp và đánh giá bất kỳ mô hình phổ biến, do đó nó là đơn giản để sử dụng cho tất cả các phương pháp và cung cấp đánh giá đồ họa của nhiều biện pháp thực hiện (cái gì đó bên cạnh các vấn đề overfit có thể ảnh hưởng đến sự lựa chọn mô hình đáng kể như tốt) trên lưới của bạn và tầm quan trọng thay đổi.

Xem các họa tiết gói để bắt đầu (sử dụng rất đơn giản) Lựa chọn biến
tiền xử lý dữ liệu
với
mô hình caret Xây dựng với quan trọng biến đổi dấu mũ

Bạn cũng có thể xem trang web caret để biết thêm thông tin về gói và các ví dụ triển khai cụ thể:
Trang web chính thức

Tôi tin rằng Frank Harrell sẽ khuyên bạn nên xác thực bootstrap thay vì xác thực chéo. Xác thực Bootstrap sẽ cho phép bạn xác thực mô hình được trang bị trên tập dữ liệu đầy đủ và ổn định hơn so với xác thực chéo. Bạn có thể làm điều đó trong R bằng cách sử dụng gói validatecủa Mitchell rms.

Xem cuốn sách "Chiến lược mô hình hồi quy" của Mitchell và / hoặc "Giới thiệu về Bootstrap" của Efron và Tibshirani để biết thêm thông tin.

Tôi nghĩ rằng bạn có một loạt các câu hỏi khác nhau ở đây:

Vấn đề là, nếu tôi sử dụng tất cả các điểm trong tập dữ liệu của mình để đào tạo, tôi không thể kiểm tra xem mô hình mới đã học này có hoàn toàn không!

Vấn đề là, bạn chỉ có thể sử dụng (một) bước xác thực cho một điều: hoặc để tối ưu hóa tham số, (x) hoặc để ước tính hiệu suất tổng quát hóa.

Vì vậy, nếu bạn thực hiện tối ưu hóa tham số bằng cách xác thực chéo (hoặc bất kỳ loại xác định tham số dựa trên dữ liệu nào khác), bạn cần các mẫu thử nghiệm độc lập với các mẫu đào tạo và tối ưu hóa đó. Dikran gọi nó là xác nhận chéo lồng nhau, một tên khác là xác nhận chéo kép. Hoặc, tất nhiên, một bộ thử nghiệm độc lập.

Vì vậy, đây là câu hỏi cho bài đăng này: Có phải là một ý tưởng tốt để đào tạo với bộ dữ liệu đầy đủ sau khi xác thực chéo k-gấp? Hoặc là tốt hơn thay vì gắn bó với một trong những mô hình đã học trong một trong các phân tách xác thực chéo cho αbest?

Sử dụng một trong các mô hình xác thực chéo thường kém hơn so với đào tạo trên toàn bộ (ít nhất là nếu hiệu suất học tập của bạn = f (nsamples) vẫn tăng. Trong thực tế, đó là: nếu không, có lẽ bạn đã đặt dành một bộ kiểm tra độc lập.)

Nếu bạn quan sát một biến thể lớn giữa các mô hình xác thực chéo (có cùng tham số), thì các mô hình của bạn không ổn định. Trong trường hợp đó, tổng hợp các mô hình có thể giúp ích và thực sự tốt hơn so với việc sử dụng một mô hình được đào tạo trên toàn bộ dữ liệu.

Cập nhật: Tập hợp này là ý tưởng đằng sau việc đóng gói được áp dụng để lấy mẫu lại mà không cần thay thế (xác thực chéo) thay vì lấy mẫu lại bằng thay thế (xác thực bootstrap / out-of-bootstrap).

Đây là một bài báo mà chúng tôi đã sử dụng kỹ thuật này:
Beleites, C. & Salzer, R.: Đánh giá và cải thiện tính ổn định của các mô hình hóa học trong các tình huống cỡ mẫu nhỏ, Anal Bioanal Chem, 390, 1261-1271 (2008).
DOI: 10.1007 / s00216-007-1818-6

Có lẽ quan trọng nhất, làm thế nào tôi có thể đào tạo với tất cả các điểm trong bộ dữ liệu của mình và vẫn chiến đấu với việc đánh giá quá mức?

Bằng cách rất bảo thủ với mức độ tự do được phép cho mô hình "tốt nhất", tức là bằng cách tính đến sự không chắc chắn (ngẫu nhiên) trên kết quả xác thực chéo tối ưu hóa. Nếu df thực sự phù hợp với các mô hình xác nhận chéo, thì rất có thể chúng không quá nhiều cho tập huấn luyện lớn hơn . Điều đáng tiếc là tối ưu hóa tham số thực sự là nhiều thử nghiệm. Bạn cần phải bảo vệ chống lại các bộ thông số tìm kiếm tốt.

Những gì bạn làm không phải là xác nhận chéo, mà là một loại tối ưu hóa ngẫu nhiên.

Ý tưởng của CV là mô phỏng hiệu suất của dữ liệu chưa xem bằng cách thực hiện một số vòng xây dựng mô hình trên một tập hợp con các đối tượng và thử nghiệm trên các đối tượng còn lại. Các kết quả trung bình phần nào của tất cả các vòng là xấp xỉ hiệu suất của một mô hình được đào tạo trên toàn bộ .

Trong trường hợp lựa chọn mô hình của bạn, bạn nên thực hiện CV đầy đủ cho từng bộ tham số và do đó có được xấp xỉ hiệu suất trên toàn bộ cho mỗi thiết lập, do đó dường như là điều bạn muốn có.

Tuy nhiên, lưu ý rằng hoàn toàn không đảm bảo rằng mô hình có độ chính xác gần đúng nhất sẽ là tốt nhất trên thực tế - bạn có thể xác thực chéo toàn bộ quy trình lựa chọn mô hình để thấy rằng tồn tại một phạm vi trong không gian tham số có sự khác biệt trong độ chính xác mô hình không đáng kể.