Xác thực chéo và tối ưu hóa tham số

Tôi có một câu hỏi về tối ưu hóa tham số khi tôi sử dụng xác nhận chéo 10 lần.

Tôi muốn hỏi rằng liệu các tham số có nên sửa hay không trong quá trình đào tạo mô hình của mỗi lần gấp, tức là (1) chọn một bộ tham số được tối ưu hóa cho độ chính xác trung bình của mỗi lần gấp.

hoặc là

(2) Tôi nên tìm tham số được tối ưu hóa cho mỗi lần gấp và sau đó mỗi lần sử dụng các tham số được tối ưu hóa khác nhau để huấn luyện mô hình của nó sau đó kiểm tra dữ liệu thử nghiệm của nếp gấp và cuối cùng là trung bình độ chính xác của mỗi lần gấp?

Cái nào là phương pháp đúng để xác nhận chéo? Cảm ơn rất nhiều.

Trước tiên chúng ta hãy phân biệt giữa hai bộ tham số: tham số mô hình (ví dụ: trọng số cho các tính năng trong hồi quy) và tham số cho thuật toán học (và siêu đường kính). Mục đích của xác nhận chéo là để xác định các tham số học tập khái quát tốt trên các mẫu dân số mà chúng ta học được từ mỗi lần.

Cụ thể hơn: Chúng tôi tìm kiếm trên toàn cầu trong không gian qua các tham số học tập, nhưng trong mỗi lần, chúng tôi sửa các tham số học tập và tìm hiểu các tham số mô hình. Kết quả sẽ là học các tham số tạo ra hiệu suất trung bình tốt nhất trong tất cả các lần. Sau đó chúng ta có thể sử dụng chúng để huấn luyện một mô hình trên toàn bộ tập dữ liệu.

Tôi nghĩ rằng câu trả lời hiện đang được chấp nhận là không đầy đủ theo một cách không may. Tôi không đồng ý với câu

Mục đích của xác nhận chéo là để xác định các tham số học tập khái quát tốt trên các mẫu dân số mà chúng ta học được từ mỗi lần.

Đây thực sự là một ứng dụng rất quan trọng của xác nhận chéo, nhưng không phải là ứng dụng duy nhất. Thông thường, bạn muốn làm hai điều:

1. Xây dựng mô hình tốt nhất bạn có thể
2. Có một ấn tượng chính xác về hiệu suất của nó

Bây giờ, để hoàn thành mục tiêu 1 tùy thuộc vào thuật toán của bạn, bạn có thể cần điều chỉnh một số siêu đường kính và điều này thực sự thường được thực hiện bằng xác nhận chéo. Nhưng điều này vẫn chưa giúp bạn với mục tiêu 2. Đối với điều này, về cơ bản bạn cần lồng xác thực chéo, như thế này:

• Phân chia toàn bộ dữ liệu thành n lần
• Đối với mỗi, hãy tách dữ liệu đào tạo lại thành các tệp con
• Sử dụng xác nhận chéo trên các tệp con để tìm hiểu các siêu đường kính tốt
• Với các siêu tham số này, xây dựng một mô hình về dữ liệu huấn luyện của nếp gấp đó
• Kiểm tra mô hình trên dữ liệu thử nghiệm
• Lặp lại ở lần tiếp theo

Để xây dựng một mô hình tốt, bạn chỉ cần xác nhận chéo bên trong. Bạn vẫn sẽ cần phải làm như vậy để có được một mô hình tốt. Nhưng để có được ước tính tốt về hiệu suất mô hình của bạn, bạn cần thực hiện toàn bộ quá trình xây dựng mô hình bên trong sơ đồ xác thực chéo. Điều này cũng bao gồm các bước như cắt cụt, vv