Phương pháp hiệu quả nhất để tối ưu hóa siêu tham số trong scikit-learn là gì?

Tổng quan về quá trình tối ưu hóa siêu tham số trong scikit-learn có ở đây .

Tìm kiếm lưới đầy đủ sẽ tìm thấy bộ siêu đường kính tối ưu cho một mô hình. Nhược điểm là tìm kiếm lưới đầy đủ là chậm.

Tìm kiếm ngẫu nhiên nhanh hơn tìm kiếm lưới nhưng có phương sai cao không cần thiết.

Ngoài ra còn có các chiến lược bổ sung trong các gói khác, bao gồm tối ưu hóa scikit , tự động sklearn và scikit-hyperband .

Phương pháp hiệu quả nhất (nhanh chóng tìm ra các tham số hiệu suất hợp lý) để tối ưu hóa siêu tham số trong scikit-learn là gì?

Lý tưởng nhất, tôi muốn các ví dụ mã làm việc với điểm chuẩn.

Tối ưu hóa không phải là lĩnh vực của tôi, nhưng theo tôi biết, tối ưu hóa siêu tham số hiệu quả và hiệu quả ngày nay xoay quanh việc xây dựng một mô hình thay thế. Khi các mô hình tăng độ phức tạp, chúng trở thành một hộp đen mờ hơn. Đây là trường hợp đối với lưới thần kinh sâu và có lẽ là cây phức tạp. Một mô hình thay thế cố gắng hồi quy không gian bên dưới trong hộp đen đó. Dựa trên nhiều kỹ thuật lấy mẫu khác nhau, họ thăm dò không gian siêu tham số và cố gắng xây dựng một hàm đại diện cho không gian siêu tham số cơ bản thực sự.

Tối ưu hóa Bayes tập trung vào mô hình thay thế và cách xây dựng mô hình này là rất quan trọng đối với BO. Cũng rất quan trọng đối với BO là chọn một chức năng mất tốt.

Tôi nghĩ hiệu suất giữa tìm kiếm ngẫu nhiên và tìm kiếm Bayes thay đổi từ tập dữ liệu đến tập dữ liệu và mô hình sang mô hình. Bergstra & Bengio (2012) đã đưa ra một lập luận mạnh mẽ cho tìm kiếm ngẫu nhiên trên tìm kiếm lưới. Shahriari et al. (2016) tạo ra một trường hợp mạnh mẽ cho BO. Các chiến lược Hyperband dựa trên mô hình có thể có khả năng thực hiện tốt hơn BO, đặc biệt đối với các kích thước cao, tuy nhiên đó hoàn toàn là thăm dò chứ không phải khai thác. Điều này có thể dễ dàng dẫn đến quá sớm dừng lại. Tuy nhiên, đã có những nỗ lực để kết hợp Hyperband và BO .

Tôi đã tối ưu hóa thành công scikit, mặc dù có khá nhiều điều chưa được thực hiện. Thật dễ dàng để tạo nguyên mẫu với và có thể dễ dàng giao tiếp với scikit-learn.

Bergstra, J., & Bengio, Y. (2012). Tìm kiếm ngẫu nhiên để tối ưu hóa siêu tham số. Tạp chí Nghiên cứu Máy học, 13 (Tháng 2), 281-305.

Shahriari, B., Swersky, K., Wang, Z., Adams, RP, & De Freitas, N. (2016). Đưa con người ra khỏi vòng lặp: Một đánh giá về tối ưu hóa bayes. Thủ tục tố tụng của IEEE, 104 (1), 148-175.

Bạn có thể xem tự động sklearn . Đó là một bộ công cụ học máy tự động, là phần mở rộng trực tiếp của scikit-learn.