Làm thế nào để có được siêu âm tối ưu sau khi xác nhận chéo lồng nhau?

Nói chung, nếu chúng ta có một tập dữ liệu lớn, chúng ta có thể chia nó thành (1) đào tạo, (2) xác nhận và (3) kiểm tra. Chúng tôi sử dụng xác nhận để xác định các siêu âm tốt nhất trong xác thực chéo (ví dụ: C trong SVM) và sau đó chúng tôi đào tạo mô hình bằng cách sử dụng siêu âm tốt nhất với tập huấn luyện và áp dụng mô hình được đào tạo vào thử nghiệm để có được hiệu suất.

Nếu chúng tôi có một tập dữ liệu nhỏ, chúng tôi không thể tạo tập huấn luyện và kiểm tra (không đủ mẫu). Do đó, chúng tôi sẽ thực hiện xác nhận chéo (k-Fold, bỏ qua một lần, v.v.) để đánh giá hiệu suất mô hình.

Tôi đã thấy xác nhận chéo lồng nhau (cho dù lặp đi lặp lại hoặc phân tầng) đã được sử dụng trong cài đặt tập dữ liệu nhỏ, nghĩa là để tạo hiệu suất mô hình tổng quát trong khi tối ưu hóa lựa chọn tham số. Câu hỏi của tôi là, làm thế nào tôi có thể có được siêu âm tốt nhất trong xác nhận chéo lồng nhau (lặp lại / không lặp lại)? Tôi thích làm điều này trong scikit-learn, nếu có thể. Tôi hơi bối rối về cách làm điều đó.

Tôi đã đọc một số tài nguyên nhưng không có tài liệu nào cho tôi câu trả lời dứt khoát cho câu hỏi này:

Xác thực chéo lồng nhau để lựa chọn mô hình

Xác thực chéo và lựa chọn tính năng lồng nhau: khi nào thực hiện lựa chọn tính năng?

Tổng quat

Như @RockTheStar đã kết luận chính xác trong các bài bình luận, xác thực chéo được lồng chỉ được sử dụng để truy cập ước tính hiệu suất mô hình. Phân tách từ đó, để tìm ra các siêu âm tốt nhất, chúng ta cần thực hiện một điều chỉnh đơn giản với xác thực chéo trên toàn bộ dữ liệu.

Chi tiết:

Điều chỉnh và xác nhận (các vòng lặp lấy mẫu bên trong và bên ngoài)

Trong vòng lặp bên trong bạn thực hiện điều chỉnh siêu tham số, các mô hình được đào tạo về dữ liệu huấn luyện và được xác thực trên dữ liệu xác nhận. Bạn tìm thấy các tham số tối ưu và huấn luyện mô hình của mình trên toàn bộ dữ liệu vòng lặp bên trong . Mặc dù nó đã được đào tạo để tối ưu hóa hiệu suất trên dữ liệu xác nhận, việc đánh giá bị sai lệch.

Vì vậy, mô hình này được kiểm tra với dữ liệu thử nghiệm, hy vọng không có sai lệch, mang lại cho bạn ước tính hiệu suất.

Mô hình cuối cùng

Bây giờ bạn đã biết hiệu suất dự kiến ​​của mô hình của bạn, bạn phải đào tạo nó với tất cả dữ liệu của bạn. Nhưng mô hình của chúng tôi không chỉ đơn giản là thuật toán, đó là toàn bộ quá trình xây dựng mô hình!

Vì vậy, thực hiện điều chỉnh siêu tham số với tất cả dữ liệu của bạn và cùng thông số kỹ thuật của vòng lặp bên trong. Với siêu âm tốt nhất, hãy huấn luyện mô hình cuối cùng của bạn với toàn bộ dữ liệu. Hiệu suất dự kiến ​​của mô hình cuối cùng này là những gì bạn đã đánh giá với việc xác định giá trị lồng nhau trước đó.

Để nhắc lại, siêu âm của mô hình cuối cùng là những gì bạn mong đợi sẽ cung cấp cho bạn hiệu suất bạn tìm thấy trong bước Điều chỉnh và xác thực .