Tối ưu hóa một chức năng chưa biết chỉ có thể được đánh giá?

Cho một hàm chưa biết , chúng ta có thể đánh giá giá trị của nó tại bất kỳ điểm nào trong miền của nó, nhưng chúng ta không có biểu thức của nó. Nói cách khác, giống như một hộp đen đối với chúng ta.$f:\mathbb R^d \to \mathbb R$$f$

Tên của vấn đề tìm tối thiểu hóa của gì? Một số phương pháp ra khỏi đó là gì?$f$

Tên của bài toán tìm phương trình cho phương trình gì? Một số phương pháp ra khỏi đó là gì?$f(x)=0$

Trong hai vấn đề trên, có nên nội suy hoặc phù hợp với một số đánh giá của f: bằng cách sử dụng hàm với dạng và tham số đã biết được xác định, và sau đó giảm thiểu hoặc tìm gốc của nó?g θ θ g $(x_i, f(x_i)), i=1, \dots, n$$g_\theta$$\theta$$g_\theta$

Cảm ơn và trân trọng!

Các phương thức bạn đang tìm kiếm - tức là chỉ sử dụng các đánh giá hàm chứ không sử dụng các dẫn xuất - được gọi là các phương thức tối ưu hóa miễn phí phái sinh . Có một khối lượng lớn tài liệu về chúng, và bạn có thể tìm thấy một chương về các phương pháp như vậy trong hầu hết các cuốn sách về tối ưu hóa. Cách tiếp cận điển hình bao gồm

• Xấp xỉ độ dốc bằng sự khác biệt hữu hạn nếu người ta có thể mong đợi một cách hợp lý chức năng sẽ trơn tru và, có thể, lồi;
• Các phương pháp Monte Carlo như mô phỏng luyện kim;
• Thuật toán di truyền.

Tôi nghĩ bạn nên bắt đầu với: Hội thảo GECCO về Điểm chuẩn tối ưu hóa hộp đen thông số thực (BBOB 2016) http://numbbo.github.io/workairs/index.html

Bạn sẽ tìm thấy nhiều thuật toán khác nhau đã được sử dụng trong các cuộc thi trước đó và đã được so sánh trên cơ sở chung. Nếu bạn bắt đầu ở nơi khác, bạn sẽ sớm chìm đắm trong hàng trăm bài báo tuyên bố phương pháp và thuật toán của họ hoạt động tốt hơn những bài khác với ít bằng chứng thực tế cho những tuyên bố đó.

Cho đến gần đây, đó là, thẳng thắn, một tình trạng ô nhục và tất cả quyền lực đối với INRIA, GECCO và nhiều người khác cho những nỗ lực họ đã làm trong việc thiết lập một khuôn khổ để so sánh hợp lý.

Tôi chỉ cần nói thêm rằng một trong những chìa khóa ở đây là có thể mở rộng phương pháp tối ưu hóa trên CPU đa lõi . Nếu bạn có thể thực hiện đồng thời một số đánh giá chức năng, nó sẽ cung cấp cho bạn một tốc độ bằng với một số lõi liên quan. So sánh điều này với việc chỉ sử dụng mô hình phản hồi chính xác hơn một chút, giúp bạn hiệu quả hơn 10%.

Tôi khuyên bạn nên xem mã này , nó có thể hữu ích cho những người có quyền truy cập vào nhiều lõi. Một toán học đằng sau nó được mô tả trong bài báo này .