Kiểm tra phương pháp tối ưu hóa số: Rosenbrock so với các chức năng kiểm tra thực

Dường như có hai loại chức năng thử nghiệm chính cho tối ưu hóa không phái sinh:

• một lớp lót như hàm Rosenbrock ff., với điểm bắt đầu
• tập hợp các điểm dữ liệu thực, với bộ nội suy

Có thể so sánh nói 10d Rosenbrock với bất kỳ vấn đề 10d thực sự nào không?
Người ta có thể so sánh theo nhiều cách khác nhau: mô tả cấu trúc của cực tiểu cục bộ
hoặc chạy tối ưu hóa ABC trên Rosenbrock và về một số vấn đề thực tế;
nhưng cả hai điều này có vẻ khó khăn

(Có lẽ các nhà lý thuyết và thí nghiệm chỉ là hai nền văn hóa khá khác nhau, vì vậy tôi đang yêu cầu một con chimera?)

Xem thêm:

• scicomp.SE câu hỏi: Trường hợp nào người ta có thể có được các tập dữ liệu / vấn đề kiểm tra tốt để kiểm tra các thuật toán / thói quen?
• Hooker, "Kiểm tra Heuristic: We Have It All Wrong" thật đáng sợ: "sự nhấn mạnh vào cạnh tranh ... cho chúng ta biết thuật toán nào tốt hơn nhưng không phải tại sao."

Trên Ackley, ví dụ, hàng trên cùng cho thấy SBPLX là tốt nhất và PRAXIS khủng khiếp; trên Schwefel, bảng dưới cùng bên phải hiển thị SBPLX tìm tối thiểu trên điểm bắt đầu ngẫu nhiên thứ 5.

Nhìn chung, BOBYQA là tốt nhất trên 1, PRAXIS trên 5 và SBPLX (~ Nelder-Mead với khởi động lại) trên 7 trong số 13 chức năng kiểm tra, với Powersum một lần tung. YMMV! Cụ thể, Johnson nói: "Tôi sẽ khuyên bạn không nên sử dụng hàm-giá trị (ftol) hoặc dung sai tham số (xtol) trong tối ưu hóa toàn cầu."

Kết luận: không đặt tất cả tiền của bạn vào một con ngựa hoặc trên một chức năng kiểm tra.

Các hàm đơn giản như của Rosenbrock được sử dụng để gỡ lỗi và kiểm tra trước các thuật toán mới được viết: Chúng nhanh chóng thực hiện và thực thi, và một phương pháp không thể giải quyết tốt các vấn đề tiêu chuẩn khó có thể hoạt động tốt trên các vấn đề thực tế.

Để so sánh kỹ lưỡng gần đây về các phương pháp không có đạo hàm cho các hàm đắt tiền, hãy xem tối ưu hóa không có đạo hàm: Đánh giá các thuật toán và so sánh các triển khai phần mềm . LM Rios, NV Sahinidis - doi 10.1007 / s10898-012-9951-y Tạp chí Tối ưu hóa toàn cầu, 2012. (Xem thêm trang web đi kèm: http://archimedes.cheme.cmu.edu/?q=dfocomp )

Ưu điểm của các testcase tổng hợp như chức năng Rosenbrock là có tài liệu hiện có để so sánh, và có một ý nghĩa trong cộng đồng về cách các phương pháp tốt hành xử trên các testcase như vậy. Nếu mọi người sử dụng thử nghiệm riêng của họ, sẽ khó hơn nhiều để đi đến thống nhất phương pháp nào hiệu quả và phương pháp nào không.

(Tôi hy vọng không có sự phản đối nào về việc tôi đã kết thúc cuộc thảo luận này. Tôi mới ở đây, vì vậy xin vui lòng cho tôi biết nếu tôi đã vi phạm!)

Các hàm kiểm tra cho các thuật toán tiến hóa bây giờ phức tạp hơn nhiều so với cách đây 2 hoặc 3 năm, như các bộ được sử dụng trong các cuộc thi tại các hội nghị như Đại hội 2015 về tính toán tiến hóa (rất gần đây). Xem:

http://www.cec2015.org/

Các bộ kiểm tra này hiện bao gồm các hàm với một số tương tác phi tuyến tính giữa các biến. Số lượng biến có thể lên tới 1000 và tôi đoán nó có thể tăng trong tương lai gần.

Một cải tiến rất gần đây là "Cuộc thi tối ưu hóa hộp đen". Xem: http://bbcomp.ini.rub.de/

Một thuật toán có thể truy vấn giá trị f (x) cho một điểm x, nhưng nó không thu được thông tin độ dốc và đặc biệt nó không thể đưa ra bất kỳ giả định nào về dạng phân tích của hàm mục tiêu.

Theo một nghĩa nào đó, điều này có thể gần với những gì bạn gọi là "vấn đề thực sự" nhưng trong một môi trường khách quan, có tổ chức.

Bạn có thể có tốt nhất của cả hai thế giới. NIST có một tập hợp các vấn đề cho minimizers, giống như phù hợp này 10 độ polinomial , với kết quả mong đợi và không chắc chắn. Tất nhiên, việc chứng minh rằng các giá trị này là giải pháp tốt nhất thực tế, hoặc sự tồn tại và tính chất của các cực tiểu cục bộ khác khó khăn hơn so với biểu thức toán học có kiểm soát.