Tại sao các vấn đề lồi dễ tối ưu hóa?

Thúc đẩy bởi câu trả lời hàng đầu này cho câu hỏi: Tại sao độ lồi quan trọng hơn độ lồi trong tối ưu hóa? , Bây giờ tôi đang hy vọng hiểu tại sao các vấn đề lồi dễ tối ưu hóa (hoặc ít nhất là dễ dàng hơn các vấn đề quasiconvex ).

Một số thuật toán hiệu quả nhất để tối ưu hóa lồi là gì và tại sao chúng không thể được sử dụng hiệu quả trong các vấn đề quasiconvex ?

Hầu hết các phương pháp hiện đại tốt nhất để tối ưu hóa quy mô lớn bao gồm thực hiện xấp xỉ bậc hai cục bộ cho hàm mục tiêu, di chuyển tới điểm tới hạn của phép tính gần đúng đó, sau đó lặp lại. Điều này bao gồm phương pháp của Newton, L-BFGS, v.v.

Một hàm chỉ có thể được xấp xỉ tốt cục bộ bởi một bậc hai với mức tối thiểu nếu Hessian tại điểm hiện tại là xác định dương. Nếu Hessian là vô thời hạn, thì một trong hai

1. Xấp xỉ bậc hai cục bộ là một xấp xỉ cục bộ tốt cho hàm mục tiêu và do đó là một bề mặt yên. Sau đó, sử dụng phép tính gần đúng bậc hai này sẽ gợi ý di chuyển về phía điểm yên, có khả năng sai hướng, hoặc

2. Phép tính gần đúng bậc hai cục bộ buộc phải có tối thiểu bằng cách xây dựng, trong trường hợp đó có khả năng là xấp xỉ kém với hàm mục tiêu ban đầu.

(Loại vấn đề tương tự phát sinh nếu Hessian âm tính xác định, trong trường hợp đó, nó trông giống như một cái bát lộn ngược)

Vì vậy, các phương pháp này sẽ hoạt động tốt nhất nếu Hessian xác định dương ở mọi nơi, tương đương với độ lồi cho các hàm trơn tru.

Tất nhiên, tất cả các phương pháp hiện đại tốt đều có biện pháp bảo vệ để đảm bảo sự hội tụ khi di chuyển qua các khu vực nơi Hessian không xác định - Ví dụ: tìm kiếm dòng, vùng tin cậy, dừng giải quyết tuyến tính khi gặp phải hướng cong tiêu cực, v.v. các vùng không xác định như vậy, sự hội tụ thường chậm hơn nhiều, vì thông tin độ cong đầy đủ về hàm mục tiêu không thể được sử dụng.

Bạn có thể thử áp dụng thuật toán tối ưu hóa lồi cho vấn đề tối ưu hóa không lồi và thậm chí nó có thể hội tụ đến mức tối thiểu cục bộ, nhưng chỉ có thông tin cục bộ về hàm, bạn sẽ không bao giờ có thể kết luận rằng thực tế bạn đã có thể tìm thấy mức tối thiểu toàn cầu. Thuộc tính lý thuyết quan trọng nhất của các vấn đề tối ưu hóa lồi là bất kỳ mức tối thiểu cục bộ nào (trên thực tế, bất kỳ điểm dừng nào) cũng là mức tối thiểu toàn cầu.

Các thuật toán để tối ưu hóa toàn cầu các vấn đề không lồi phải có một số loại thông tin toàn cầu (ví dụ: tính liên tục của hàm) để chứng minh rằng giải pháp là tối thiểu toàn cầu.

Để trả lời câu hỏi cụ thể của bạn về lý do tại sao thuật toán tối ưu hóa lồi có thể thất bại trong bài toán gần như lồi, giả sử rằng thuật toán tối ưu hóa lồi của bạn xảy ra bắt đầu tại một "điểm phẳng" trên biểu đồ của hàm mục tiêu. Không có thông tin địa phương trong gradient để cho bạn biết nơi tiếp theo. Đối với một vấn đề lồi, bạn chỉ có thể dừng lại, biết rằng bạn đã ở điểm tối thiểu cục bộ (và do đó là toàn cầu).