Một số sự không hài lòng của tối ưu hóa tham số siêu bayes là gì?

Tôi còn khá mới đối với học máy và thống kê nhưng tôi đã tự hỏi tại sao tối ưu hóa bayes không được nhắc đến trực tuyến thường xuyên hơn khi học máy học để tối ưu hóa siêu âm thuật toán của bạn? Ví dụ: sử dụng khung như thế này: https://github.com/fmfn/BayesianOptimization

Liệu tối ưu hóa bayesian của siêu đường kính của bạn có bất kỳ hạn chế hoặc bất lợi lớn đối với các kỹ thuật như tìm kiếm lưới hoặc tìm kiếm ngẫu nhiên?

1. kết quả rất nhạy cảm với các tham số của mô hình thay thế, thường được cố định ở một số giá trị; điều này đánh giá thấp sự không chắc chắn; hoặc nếu không, bạn phải hoàn toàn Bayesian và cận biên trên các phân phối tham số siêu, có thể tốn kém và khó sử dụng.
2. phải mất hàng tá mẫu để có được bề mặt thay thế tốt trong 2 hoặc 3 chiều không gian tìm kiếm; tăng kích thước của không gian tìm kiếm đòi hỏi nhiều mẫu hơn
3. Bản thân tối ưu hóa Bayes phụ thuộc vào trình tối ưu hóa để tìm kiếm bề mặt thay thế, có chi phí riêng - vấn đề này (hy vọng) rẻ hơn để đánh giá so với vấn đề ban đầu, nhưng nó vẫn là một vấn đề tối ưu hóa bị ràng buộc trong hộp không lồi (nghĩa là khó khăn!)
4. ước tính mô hình BO có chi phí

Nói một cách khác, BO là một nỗ lực để giữ cho số lượng đánh giá chức năng ở mức tối thiểu và nhận được nhiều "cú hích nhất" từ mỗi đánh giá. Điều này rất quan trọng nếu bạn đang tiến hành các thử nghiệm phá hủy hoặc chỉ thực hiện một mô phỏng cần một lượng thời gian tối nghĩa để thực hiện. Nhưng trong tất cả các trường hợp ngoại trừ đắt nhất, hãy áp dụng tìm kiếm ngẫu nhiên thuần túy và gọi nó là một ngày ! (Hoặc LIPO nếu vấn đề của bạn phù hợp với các giả định của nó.) Nó có thể giúp bạn tiết kiệm một số vấn đề đau đầu, chẳng hạn như tối ưu hóa chương trình Tối ưu hóa Bayes của bạn.