Tại sao không đào tạo mô hình cuối cùng trên toàn bộ dữ liệu sau khi thực hiện dữ liệu kiểm tra cơ sở điều chỉnh siêu chuẩn và dữ liệu xác thực cơ sở lựa chọn mô hình?

Theo toàn bộ dữ liệu, ý tôi là đào tạo + kiểm tra + xác nhận

Khi tôi đã sửa lỗi siêu tham số của mình bằng dữ liệu xác thực và chọn mô hình sử dụng dữ liệu thử nghiệm, sẽ tốt hơn nếu có một mô hình được đào tạo trên toàn bộ dữ liệu để các tham số được đào tạo tốt hơn thay vì chỉ đào tạo mô hình dữ liệu đào tạo

Câu hỏi là theo một giả định sai. Nhiều người làm những gì bạn nói họ "không thể" làm.

Trong thực tế, việc thực hiện tìm kiếm lưới trong gói sklearn được triển khai rộng rãi thực hiện điều đó. Trừ khi refit=False, nó sẽ đào tạo lại mô hình cuối cùng bằng cách sử dụng toàn bộ dữ liệu.

Tôi nghĩ đối với một số siêu âm, điều này có thể không được mong muốn lắm, vì chúng liên quan đến khối lượng dữ liệu. Ví dụ, hãy xem xét min_samples_leafchiến thuật cắt tỉa trước cho cây quyết định . Nếu bạn có nhiều dữ liệu hơn, việc cắt tỉa trước có thể không thực hiện như bạn muốn.

Nhưng một lần nữa, hầu hết mọi người thực tế đào tạo lại bằng cách sử dụng toàn bộ dữ liệu sau khi xác thực chéo, để họ kết thúc với mô hình tốt nhất có thể.

Phụ lục: @NeilSlater nói bên dưới rằng một số người thực hiện giữ trên đầu CV. Nói cách khác, họ có sự phân tách kiểm tra tàu và sau đó thực hiện lựa chọn mô hình trong khóa đào tạo. Theo ông, họ đào tạo lại bằng cách sử dụng bộ huấn luyện ban đầu tách ra, nhưng không phải là bộ thử nghiệm. Bộ thử nghiệm sau đó được sử dụng để thực hiện ước lượng mô hình cuối cùng. Cá nhân, tôi thấy ba lỗ hổng về điều này: (a) nó không giải quyết được vấn đề mà tôi đã đề cập với một số siêu âm phụ thuộc vào khối lượng đào tạo vì dù sao bạn đang đào tạo lại, (b) khi thử nghiệm nhiều mô hình, tôi thích tinh vi hơn các phương thức như xác thực chéo lồng nhau để không có dữ liệu nào bị lãng phí và (c) giữ lại là một phương pháp khủng khiếp để suy ra cách một mô hình sẽ khái quát hóa khi bạn có ít dữ liệu.

Có bạn có thể.

Vì dữ liệu thử nghiệm được cho là từ phân phối tương tự để đào tạo dữ liệu, bạn sẽ không phá vỡ mô hình của mình. Nếu bạn đã đào tạo mô hình đúng cách, thì bạn sẽ nhận thấy không có thay đổi đáng kể (ngoại trừ số liệu chính xác tốt hơn trên dữ liệu kiểm tra / xác nhận trước đó).

Nhưng thật hiếm khi dữ liệu thử nghiệm đến từ phân phối chính xác giống như dữ liệu tàu hỏa, do đó, trong trường hợp ứng dụng thực tế, bạn có thể có được tính khái quát tốt hơn cho mô hình của mình.

Câu trả lời cho câu hỏi này phụ thuộc vào thuật toán đào tạo (công nghệ) mà bạn sử dụng. Ví dụ, tôi đã thấy một số cách tiếp cận trong phân loại đồng bộ trong đó các bộ huấn luyện và xác nhận (nhưng không kiểm tra) được kết hợp ở cuối. Điều rất quan trọng là phải biết rằng thậm chí xác nhận được sử dụng chủ yếu để quyết định các tham số siêu tốc, một số tham số siêu này có thể là một chức năng của dữ liệu được sử dụng cho đào tạo. Ví dụ: trong xác thực DNN được sử dụng để biết khi nào nên dừng, vì quá mức có thể xảy ra do việc điều chỉnh các tham số (trọng số) của mạng, chúng ta cần một cách để biết khi nào nên dừng. Nếu không có bộ xác nhận, bạn sẽ đi bộ một cách mù quáng trong quá trình đào tạo. Mặt khác, nếu bạn sử dụng chính xác cùng số lần lặp như đã chỉ định trước đó, thì có một khả năng cao là bạn sẽ không đạt được từ các mẫu bổ sung này. Bộ thử nghiệm hoàn toàn không nên chạm vào, như đã nêu ở trên mà không có bộ thử nghiệm, bạn sẽ không có phương pháp để đánh giá mô hình của mình. Đây là cờ bạc, bạn KHÔNG THỂ cung cấp bất kỳ mô hình hoặc giải pháp nào mà không ước tính độ chính xác của nó trên phân phối dữ liệu thực (được biểu thị bằng dữ liệu thử nghiệm).