Trực giác đằng sau Phương pháp định hướng xen kẽ của số nhân

Gần đây tôi đã đọc rất nhiều bài báo về ADMM và cũng đã cố gắng giải quyết một số vấn đề bằng cách sử dụng nó, trong đó tất cả đều rất hiệu quả. Ngược lại với các phương pháp tối ưu hóa khác, tôi không thể có được trực giác tốt về cách thức và lý do tại sao phương pháp này hiệu quả đến vậy (tất nhiên, tôi đã thấy phân tích hội tụ trong một vài trường hợp, nhưng không có gì giúp tôi hiểu quá nhiều). Có một số trực giác đằng sau ADMM? Làm thế nào mà các nhà khoa học đầu tiên sử dụng nó nảy ra ý tưởng này? Một số trực giác hình học sẽ là tốt nhất, nhưng bất kỳ ai cũng có cái nhìn sâu sắc sẽ giúp đỡ.

F G A

$$\min_{x,y}\ F(x) + G(y),\quad\text{s.t}\quad Ax+By = c$$ $F$$G$$A$$B$

Tôi tìm thấy trường hợp đặc biệt sau đây của , và minh họa. Trong trường hợp này, ràng buộc nói , tức là chúng ta có thể thay thế để có được vấn đề Bây giờ việc giải quyết vấn đề này có thể khó khăn, trong khi giải quyết các vấn đề có dạng có thể dễ dàng. (Bạn có thể tự tạo ra các ví dụ cho điều này, một ví dụ phổ biến là và ). Trong ADMM, bạn bắt đầu từ "biểu mẫu đã tách" và xây dựng "Lagragian tăng cường" $A=I$$B=-I$$c=0$$x - y = 0$

$$\min_x F(x) + G(x).$$ $$\min_x \rho F(x) + \tfrac12\|x-z\|^2$$ $F(x) = \lambda\|x\|^1$$G(x) = \tfrac12\|Ax-b\|^2$ $$\min_{x,y}\ F(x) + G(y),\quad\text{s.t}\quad x-y=0$$ $$L_\rho(x,y,z) = F(x) + G(y) + z^T(x-y) + \tfrac\rho2\|x-y\|^2$$ với hệ số nhân Lagrange . Bây giờ, bạn luân phiên tối thiểu hóa Lagragian tăng theo các hướng và khác nhau , tức là lặp và cập nhật hệ số nhân theo Điều này sẽ giải thích tên phương pháp xen kẽ tên của số nhân .$z$ $x$$y$ $$x^{k+1} = \mathrm{argmin}_x\ L_\rho(x,y^k,z^k)$$ $$y^{k+1} = \mathrm{argmin}_y\ L_\rho(x^{k+1},y,z)$$ $$z^{k+1} = z^k + \rho(x^{k+1} - y^{k+1}).$$

Phân tích những vấn đề giảm thiểu cho và gần hơn, bạn nhận thấy rằng đối với mỗi lần cập nhật chỉ cần để giải quyết một vấn đề của "hình thức đơn giản hơn", ví dụ như cho update (bỏ qua các thuật ngữ không phụ thuộc vào ).$x$$y$$x$

$$x^{k+1} = \mathrm{argmin}_x\ F(x) + \tfrac\rho2\|x - y^k + \rho z^k\|^2$$ $x$

ADMM cho vấn đề có nguồn gốc tương tự nhưng sau đó các sự cố trung gian cho các bản cập nhật vẫn là a hơi khó khăn nhưng có thể tương đối đơn giản so với bản gốc. Đặc biệt trong trường hợp và (hoặc tương đương , và ràng buộc ) các bản cập nhật ít nhiều dễ thực hiện.

$$\min_{x,y}\ F(x) + G(y),\quad\text{s.t}\quad Ax+By = c$$ $F(x) = \lambda\|x\|_1$$G(x) = \tfrac12\|Ax-b\|^2$$F(x) = \lambda\|x\|_1$$G(y) = \tfrac12\|y\|^2$$Ax - y = b$