Mô hình cuối cùng (sẵn sàng sản xuất) nên được đào tạo về dữ liệu hoàn chỉnh hay chỉ trên tập huấn luyện?

Giả sử tôi đã đào tạo một số mô hình trên tập huấn luyện, chọn mô hình tốt nhất bằng cách sử dụng bộ xác thực chéo và hiệu suất được đo trên tập kiểm tra. Vì vậy, bây giờ tôi có một mô hình tốt nhất cuối cùng. Tôi có nên đào tạo lại nó trên tất cả dữ liệu có sẵn hoặc giải pháp tàu chỉ được đào tạo trên tập huấn luyện không? Nếu sau này thì sao?

CẬP NHẬT: Như @ P.Windridge đã lưu ý, vận chuyển một mô hình được đào tạo lại về cơ bản có nghĩa là vận chuyển một mô hình mà không cần xác nhận. Nhưng chúng tôi có thể báo cáo hiệu suất của bộ kiểm tra và sau đó kiểm tra lại mô hình trên dữ liệu hoàn chỉnh, mong muốn hiệu suất sẽ tốt hơn - bởi vì chúng tôi sử dụng mô hình tốt nhất của chúng tôi cộng với nhiều dữ liệu hơn. Những vấn đề có thể phát sinh từ phương pháp như vậy?

Bạn hầu như sẽ luôn có được một mô hình tốt hơn sau khi hoàn thiện toàn bộ mẫu. Nhưng như những người khác đã nói bạn không có xác nhận. Đây là một lỗ hổng cơ bản trong phương pháp phân tách dữ liệu. Dữ liệu không chỉ phân tách một cơ hội bị mất để mô hình trực tiếp sự khác biệt mẫu trong một mô hình tổng thể, mà còn không ổn định trừ khi toàn bộ mẫu của bạn có thể lớn hơn 15.000 đối tượng. Đây là lý do tại sao 100 lần lặp lại xác thực chéo 10 lần là cần thiết (tùy thuộc vào kích thước mẫu) để đạt được độ chính xác và ổn định, và tại sao bootstrap để xác thực nội bộ mạnh mẽ thậm chí còn tốt hơn. Bootstrap cũng cho thấy mức độ khó khăn và tùy tiện của nhiệm vụ lựa chọn tính năng.

Tôi đã mô tả các vấn đề với xác nhận 'bên ngoài' một cách chi tiết hơn tại Biostatistic trong Phần nghiên cứu y sinh 10.11.

Bạn không cần phải đào tạo lại. Khi bạn báo cáo kết quả của mình, bạn luôn báo cáo kết quả dữ liệu kiểm tra vì chúng cho hiểu rõ hơn nhiều. Bằng cách thiết lập dữ liệu thử nghiệm, chúng ta có thể thấy chính xác hơn một mô hình có khả năng thực hiện tốt như thế nào trên dữ liệu ngoài mẫu.