Ưu điểm của tối ưu hóa dòng hạt so với tối ưu hóa Bayes để điều chỉnh siêu tham số?

Có nghiên cứu đương đại đáng kể về Tối ưu hóa Bayes (1) để điều chỉnh siêu âm ML. Động lực thúc đẩy ở đây là cần có một số điểm dữ liệu tối thiểu để đưa ra lựa chọn sáng suốt về những điểm đáng thử (các cuộc gọi hàm mục tiêu rất tốn kém, vì vậy làm cho ít hơn là tốt hơn) bởi vì đào tạo một mô hình tốn nhiều thời gian - một cách khiêm tốn - các vấn đề lớn về SVM mà tôi đã làm việc có thể mất từ ​​vài phút đến vài giờ để hoàn thành.

Mặt khác, Optunity là một triển khai hạt nhỏ để giải quyết cho cùng một nhiệm vụ. Tôi không quá quen thuộc với PSO, nhưng có vẻ như nó phải kém hiệu quả hơn theo nghĩa yêu cầu số lượng điểm thử nghiệm lớn hơn, và do đó đánh giá chức năng khách quan, để đánh giá bề mặt siêu tham số.

Tôi có thiếu một chi tiết quan trọng khiến PSO ưa thích BO trong bối cảnh học máy không? Hoặc là sự lựa chọn giữa hai luôn luôn theo ngữ cảnh cho nhiệm vụ điều chỉnh siêu tham số?

(1) Shahriari et al, "Đưa con người ra khỏi vòng lặp: Đánh giá về Bayesian Optimizaiton."

Là nhà phát triển chính của Optunity, tôi sẽ thêm hai xu của mình.

Chúng tôi đã thực hiện các điểm chuẩn rộng rãi so sánh Optunity với các bộ giải Bayes phổ biến nhất (ví dụ: hyperopt, SMAC, bayesopt) về các vấn đề trong thế giới thực và kết quả cho thấy PSO trên thực tế không kém hiệu quả trong nhiều trường hợp thực tế. Trong điểm chuẩn của chúng tôi, bao gồm điều chỉnh các phân loại SVM trên các bộ dữ liệu khác nhau, Optunity thực sự hiệu quả hơn hyperopt và SMAC, nhưng kém hiệu quả hơn một chút so với BayesOpt. Tôi rất muốn chia sẻ kết quả ở đây, nhưng tôi sẽ đợi cho đến khi Optunity cuối cùng được xuất bản trên JMLR (đang được xem xét trong hơn một năm nay, vì vậy đừng nín thở ...).

Như bạn chỉ ra, hiệu quả tăng lên là một điểm bán hàng thường được sử dụng để tối ưu hóa Bayes, nhưng trong thực tế, nó chỉ giữ nước nếu các giả định của các mô hình thay thế cơ bản nắm giữ, khác xa với tầm thường. Trong các thử nghiệm của chúng tôi, bộ giải PSO rất đơn giản của Optunity thường cạnh tranh với các phương pháp Bayes phức tạp về số lượng các đánh giá chức năng. Người giải quyết Bayes hoạt động rất tốt khi được cung cấp với các linh mục giỏi, nhưng với một người không thông tin trước đó, hầu như không có lợi ích cấu trúc so với các phương pháp siêu hình như PSO về hiệu quả.

Một điểm bán hàng lớn cho PSO là thực tế nó song song. Tối ưu hóa Bayes thường khó song song, do tính chất tuần tự vốn có của nó (việc thực hiện hyperopt là ngoại lệ thực sự duy nhất). Có cơ hội để phân phối, đang trở thành tiêu chuẩn, Optunity nhanh chóng dẫn đầu về thời gian đồng hồ treo tường để có được giải pháp tốt.

Một điểm khác biệt chính giữa Optunity và hầu hết các thư viện tối ưu hóa siêu tham số chuyên dụng khác là đối tượng mục tiêu: Optunity có giao diện đơn giản nhất và được nhắm đến các chuyên gia học máy không, trong khi hầu hết các thư viện khác yêu cầu hiểu biết về tối ưu hóa Bayesian để sử dụng hiệu quả (nghĩa là nhắm vào các chuyên gia).

Lý do chúng tôi tạo ra thư viện là mặc dù thực tế tồn tại các phương pháp tối ưu hóa siêu tham số chuyên dụng, nhưng chúng thiếu sự chấp nhận trong thực tế. Hầu hết mọi người vẫn không điều chỉnh gì cả, thực hiện thủ công hoặc thông qua các phương pháp ngây thơ như lưới hoặc tìm kiếm ngẫu nhiên. Theo chúng tôi, một lý do chính cho điều này là do các thư viện hiện có trước khi phát triển Optunity quá khó sử dụng về mặt cài đặt, tài liệu, API và thường bị giới hạn trong một môi trường.

Câu trả lời là phụ thuộc vào vấn đề và không thể được đưa ra mà không có ngữ cảnh bổ sung. Thông thường, câu trả lời sẽ đi như sau. Tối ưu hóa Bayes phù hợp hơn cho các vấn đề chiều thấp với ngân sách tính toán có thể nói gấp 10 - 100 lần số lượng biến. PSO có thể khá hiệu quả đối với ngân sách lớn hơn nhiều nhưng không phải là công nghệ tiên tiến nhất.