Là tối ưu hóa lồi trong P?

Xem xét một vấn đề tối ưu hóa lồi trong mẫu

\begin{aligned} f_{0} (x_{1}, Giáo dục, x_{n}) & \to tối thiểu \\ f_{Tôi} (x_{1}, Giáo dục, x_{n}) & \leq 0, Tôi = = 1, Giáo dục, m \end{aligned}

$\begin{align} f_0(x_1, \ldots, x_n) &\to \min \\ f_i(x_1, \ldots, x_n) & \leq 0, \quad i = 1, \ldots, m \end{align}$

trong đó $f_0, f_1, \dots, f_m$ là các hàm lồi. Không mất tính tổng quát, chúng ta có thể giả sử rằng $f_0$ là tuyến tính.

Nesterov và Nemirovskii đề cập đến trong cuốn sách "Thuật toán đa thức điểm nội tại trong lập trình lồi" rằng có một thuật toán có thể giải bất kỳ chương trình lồi nào trong thời gian đa thức theo nghĩa sau. Chúng tôi muốn có một giải pháp với độ chính xác tương đối $\varepsilon$ với chi phí $O(p(n,m) \ln (n/\varepsilon))$ của các giá trị và tính toán $O(q(n,m) \ln(n/\varepsilon))$ tính toán của các phần tử con. Sau đó, đối với phương pháp ellipsoid, người ta cho rằng

p (n, m) = = n^{3} (m + n), q (n, m) = = n^{2}

$p(n,m) = n^3 (m+ n), \qquad q(n,m) = n^2$

Thoạt nhìn, điều này dường như ngụ ý rằng một vấn đề tối ưu hóa lồi có thể được giải quyết trong thời gian đa thức bằng phương pháp ellipsoid (chúng ta giả sử đơn giản rằng các phép lạ để tính toán các giá trị và các cấp con yêu cầu thời gian $O(1)$ cho lớp được xem xét vấn đề tối ưu hóa lồi).

Tuy nhiên, tôi hoàn toàn không hiểu, liệu các biểu thức $O(\cdot)$ bằng cách nào đó phụ thuộc vào các hàm $f_i$ , ví dụ, vào Hessian của chúng hay không. Trong trường hợp này, độ phức tạp có thể có một cú nổ theo cấp số nhân do tính chất cong của các hàm. Hơn nữa, người ta tuyên bố một cách bí ẩn rằng "phương pháp ellipsoid không hoạt động tốt trong thực tế". Dường như không có sự đồng thuận nào trên internet cho dù câu trả lời cho câu hỏi của tôi là khẳng định hay phủ định, xem ví dụ cuộc thảo luận này trên MathOverflow.

Tôi đã tìm kiếm trên mọi cuốn sách về tối ưu hóa lồi mà tôi có thể tìm thấy và tôi đã có ấn tượng rằng thực sự phụ thuộc vào vấn đề, nhưng không thể tìm thấy bất kỳ xác nhận rõ ràng nào về phỏng đoán này. Vì vậy, hy vọng duy nhất của tôi là trực tiếp hỏi những người đang làm nghiên cứu trong lĩnh vực này. $O(\cdot)$

Các phương pháp điểm bên trong đã được phát triển sau này dường như giải thích rõ ràng về độ cong bằng cách sử dụng khái niệm các rào cản tự phù hợp. Nhưng khi mọi người nói rằng các phương pháp này có hiệu quả trong thực tế, họ thường không chỉ định điều này ở mức độ phức tạp.

convex-optimization complexity

— Dovgal
nguồn

Các vấn đề này (có thể tinh tế) được giải thích chi tiết trong cuốn sách Thuật toán hình học và Tối ưu hóa kết hợp của Groetschel, Lovasz và Schrijver. Câu trả lời sơ bộ là với phương pháp ellipsoid 1) bạn chỉ nhận được một giải pháp tối ưu khả thi và xấp xỉ và 2) bạn cần biết một quả cầu có bán kính chứa vùng khả thi và thời gian chạy cũng phụ thuộc vào . Bỏ qua sự phức tạp của việc lấy một gradient, không nên có các phụ thuộc ẩn khác.

R

$R$

\log R

$\log R$

— Sasho Nikolov

Trong trường hợp của tôi, , do đó, trực giác của tôi là các phương thức rào cản có thể hoạt động trong một số trường hợp ngay cả khi . Nhưng điều này có nghĩa là không có định lý chung rằng bất kể , có thuật toán đa thức không?

R = \infty

$R = \infty$

R = \infty

$R = \infty$

R

$R$

— Serge Dovgal

theo "phương pháp rào cản" Tôi có nghĩa là các phương pháp loại điểm bên trong đã được phát triển sau phương pháp ellipsoid của Nesterov, Nemirovskii et. al.

— Serge Dovgal

Tôi nghĩ đó là sự thật, không có ràng buộc nào với thì không có bảo đảm thời gian đa thức chung. Trong nhiều trường hợp khi vùng khả thi không bị ràng buộc, bạn vẫn có thể chỉ ra apriori rằng nếu có một giải pháp khả thi, thì tồn tại một trong các chỉ tiêu Euclide ở , trong đó có thể phụ thuộc vào độ phức tạp bit của đầu vào. Trong trường hợp đó, bạn chỉ có thể giao cắt vùng khả thi với bóng bán kính tập trung tại điểm gốc.

R

$R$

R

$R$

R

$R$

R

$R$

— Sasho Nikolov

Năm 1998, Michel X. Goemans đã nói chuyện về ICM, trong đó, ông đã giải quyết vấn đề này: "Các chương trình semidefinite có thể được giải quyết (hay chính xác hơn là xấp xỉ) trong thời gian đa thức trong bất kỳ độ chính xác cụ thể nào bằng thuật toán ellipsoid hoặc hiệu quả hơn thông qua thuật toán ellipsoid hoặc hiệu quả hơn thông qua Các thuật toán điểm bên trong ... Các thuật toán trên tạo ra một giải pháp khả thi nghiêm ngặt (hoặc hơi không khả thi đối với một số phiên bản của thuật toán ellipsoid) và trên thực tế, vấn đề quyết định liệu chương trình semidefinite có khả thi hay không (chính xác) vẫn còn mở. trường hợp đặc biệt về tính khả thi của lập trình semidefinite là vấn đề tổng căn bậc hai. Sự phức tạp của vấn đề này vẫn còn mở. " http://garden.irmacs.sfu.ca/op/complexity_of_sapes_root_sum

Năm 1976, Ron Graham, Michael Garey và David Johnson không thể hiển thị một số vấn đề tối ưu hóa hình học như vấn đề Nhân viên bán hàng du lịch Euclid có hoàn chỉnh NP không (họ chỉ có thể hiển thị vấn đề là NP-hard), lý do là họ không thể cho biết liệu bài toán căn bậc hai có thể giải quyết được thời gian đa thức hay không. https://rjlipton.wordpress.com/2009/03/04/ron-graham-gives-a-talk/

Vấn đề tổng căn bậc hai là một vấn đề mở dài đánh đố các học giả từ hình học tính toán, tối ưu hóa, độ phức tạp tính toán, lý thuyết trò chơi và một số lĩnh vực khác rất nhiều vì tất cả chúng đều tìm ra trở ngại chính cho vấn đề của họ là xử lý bài toán căn bậc hai.

Tiến bộ đáng chú ý nhất đối với vấn đề này là của Eric Allender và các đồng tác giả của ông, vào năm 2003, họ đã cho thấy vấn đề này nằm ở cấp độ thứ 4 của Phân cấp đếm. http://ftp.cs.rutgers.edu/pub/allender/slp.pdf

Vì vậy, dựa trên các sự kiện trên, người ta không thể giải quyết vấn đề tối ưu hóa lồi trong thời gian đa thức (đúng) bằng phương pháp Ellipsoid và phương pháp Điểm nội bộ.

Ký hiệu O lớn là để đo thời gian chạy của thuật toán trong trường hợp xấu nhất. Tuy nhiên, trong thực tế, trường hợp xấu nhất có thể là một sự kiện rất hiếm gặp, đó là lý do tại sao bạn không thể sử dụng nó để đo hiệu suất thực tế.

— Rupi Xu
nguồn

Tôi nghĩ rằng câu hỏi của tôi cần phải được cải cách. SDP rõ ràng là một vấn đề tối ưu hóa lồi (tối ưu hóa hàm lồi so với tập lồi), nhưng câu hỏi của tôi đặc biệt chỉ ra dạng tối ưu lồi tiêu chuẩn, trong đó tập lồi được xác định bởi tập bất đẳng thức "hàm lồi là âm". Bạn có tin rằng câu trả lời cho dạng cụ thể đó (tối ưu hóa lồi ở dạng chuẩn là P) không rõ?

— Serge Dovgal

@SergeyDovgal Theo tôi biết, người ta chỉ có thể khẳng định chương trình tuyến tính có thể giải được trong thời gian đa thức. Đối với các vấn đề tối ưu hóa lồi khác, nếu chúng phụ thuộc vào tổng căn bậc hai, người ta không thể khẳng định chúng thực sự có thể giải được theo thời gian đa thức.

— Rupei Xu