Lập trình tuyến tính với các ràng buộc ma trận

Tổng quat

Bạn có thể muốn thử một biến thể của Phương pháp đa hướng thay thế (ADMM), đã được tìm thấy để hội tụ nhanh một cách đáng ngạc nhiên đối với các vấn đề kiểu lasso. Chiến lược này là xây dựng vấn đề với Lagrangian tăng cường và sau đó tăng độ dốc cho vấn đề kép. Nó đặc biệt tốt đẹp cho đặc biệt này vấn đề regularized vì phần nonsmooth của mỗi lần lặp của phương pháp này có một giải pháp chính xác mà bạn chỉ có thể đánh giá phần tử bằng phần tử, trong khi phần trơn tru liên quan đến giải quyết một hệ thống tuyến tính. $l_1$ $l^1$

Trong bài này, chúng tôi

rút ra một công thức ADMM tổng thể để khái quát hóa vấn đề của bạn,
rút ra các bài toán con cho mỗi lần lặp ADMM và chuyên môn hóa chúng cho tình huống của bạn, và sau đó
tra kết quả các hệ thống tuyến tính mà cần phải được giải quyết mỗi lần lặp, và phát triển một giải nhanh (hoặc preconditioner) dựa trên precomputing sự phân tách eigenvalue (hoặc xấp xỉ bậc thấp của chúng) cho và . $M^TM$ $YY^T$
tóm tắt với một vài nhận xét kết luận

Hầu hết các ý tưởng lớn ở đây được đề cập trong bài đánh giá tuyệt vời sau đây,

Boyd, Stephen, et al. "Tối ưu hóa phân tán và học thống kê thông qua phương pháp số nhân xen kẽ." Nền tảng và Xu hướng® trong Machine Learning 3.1 (2011): 1-122. http://www.stanford.edu/~boyd/ con / pdf / adm_distr_stats.pdf

Trước khi đi vào chi tiết, tôi muốn lưu ý rằng đây là câu trả lời của phương thức / thuật toán không phải là câu trả lời mã thực tế hiện có - nếu bạn muốn sử dụng phương pháp này, bạn sẽ cần phải tự thực hiện.

Công thức ADMM

Nói chung, giả sử bạn muốn giải quyết

\begin{aligned} min_{x} & \sum_{i} | x_{i} | \\ s.t. & A x = b \end{aligned} .

$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$

Vấn đề trong bài viết gốc rơi vào thể loại này sau khi vector hóa thích hợp. (đây chỉ là về nguyên tắc - chúng ta sẽ thấy rằng việc vector hóa không cần phải được thực hiện trong thực tế)

Thay vào đó, bạn có thể giải quyết vấn đề tương đương, có Lagrangian started

\begin{aligned} min_{x, z} & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} \\ s.t. & A z = b \\ & & x = z, \end{aligned}

$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$

\begin{aligned} L (x, z, λ, γ) = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} + λ^{T} (A z - b) + γ^{T} (x - z) \\ = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} \\ + \frac{α}{2} | | \frac{1}{α} γ | |^{2} + \frac{β}{2} | | \frac{1}{β} λ | |^{2} . \end{aligned}

$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$

Phương pháp số nhân hướng xen kẽ giải quyết vấn đề kép, thông qua độ dốc tăng dần trên các biến kép, ngoại trừ dự đoán xen kẽ không chính xác trên các bài toán con kép. Tức là, người ta lặp lại

max_{λ, γ} min_{x, z} L (x, z, λ, γ),

$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$

\begin{aligned} x^{k + 1} & = {a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) \\ z^{k + 1} & = {a r g m i n}_{z} L (x^{k + 1}, z, λ^{k}, γ^{k}) \\ γ^{k + 1} & = γ^{k} + α (x^{k + 1} - z^{k + 1}) \\ λ^{k + 1} & = λ^{k} + β (A z^{k + 1} - b) . \end{aligned}

$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$

Trong một số điều kiện nhất định về các tham số và (được giải thích trong bài báo Boyd & Parikh được liên kết ở trên), phương pháp ADMM sẽ hội tụ đến giải pháp thực sự. Tốc độ hội tụ là tuyến tính, vì nó là cốt lõi của một phương pháp tăng dần độ dốc. Thông thường, nó có thể được tăng tốc thành siêu tuyến tính bằng 1) thay đổi các tham số và khi bạn đi dựa trên phương pháp phỏng đoán hoặc 2) bằng cách sử dụng gia tốc Nesterov. Để biết các lưu ý về việc thay đổi các tham số hình phạt, xem bài khảo sát Boyd và để sử dụng gia tốc Nesterov với ADMM, hãy xem bài viết sau, $\alpha$ $\beta$ $\alpha$ $\beta$

Goldstein, Tom, Brendan O'Donoghue và Simon Setzer. "Phương pháp tối ưu hóa hướng xen kẽ nhanh." Báo cáo CAM (2012): 12-35. ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

Tuy nhiên, ngay cả khi tốc độ hội tụ tổng thể chỉ là tuyến tính, đối với các vấn đề , phương pháp đã được quan sát để tìm ra mô hình thưa thớt rất nhanh, và sau đó hội tụ chậm hơn trên các giá trị chính xác. Vì việc tìm ra mô hình thưa thớt là phần khó nhất, điều này rất tình cờ! Những lý do chính xác tại sao dường như là một lĩnh vực nghiên cứu hiện tại. Mọi người đều thấy mô hình thưa thớt hội tụ nhanh, nhưng dường như không ai biết chính xác tại sao nó lại xảy ra. Cách đây một thời gian, tôi đã hỏi Boyd và Parikh về điều này qua email và Parikh nghĩ rằng nó có thể được giải thích bằng cách diễn giải phương pháp trong bối cảnh hệ thống kiểm soát. Một lời giải thích heuristic khác về hiện tượng này được tìm thấy trong phần phụ lục của bài báo sau, $l^1$

Goldstein, Tom và Stanley Osher. "Phương pháp Bregman phân chia cho các vấn đề thường xuyên L1." Tạp chí SIAM về Khoa học hình ảnh 2.2 (2009): 323-343. ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

Tất nhiên bây giờ khó khăn nằm ở việc giải các bài toán con cập nhật và cho tình huống cụ thể của bạn. Do Lagrangian là bậc hai theo , nên bài toán con cập nhật chỉ đơn giản yêu cầu giải một hệ tuyến tính. Biểu đồ con có vẻ khó hơn vì nó không đặc biệt, nhưng hóa ra có một công thức chính xác cho giải pháp có thể được áp dụng từng phần tử! Bây giờ chúng tôi thảo luận về các bài toán con này chi tiết hơn và chỉ định chúng cho vấn đề trong bài viết gốc. $x$ $z$ $z$ $z$ $x$

Thiết lập cho chương trình con cập nhật (hệ thống tuyến tính) $z$

Đối với bản cập nhật , chúng tôi có $z$

{a r g m i n}_{z} L (x_{k}, z, λ_{k}, γ_{k}) = {a r g m i n}_{z} \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} .

$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$

Chuyên về vấn đề của bạn, điều này trở thành,

\begin{aligned} {a r g m i n}_{Z_{J}, Z_{B}} & \frac{α}{2} | | J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J} | |_{F r o}^{2} + \frac{α}{2} | | B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B} | |_{F r o}^{2} \\ + \frac{β}{2} | | M Z_{J} + Z_{B} Y - X + \frac{1}{α} Λ | |_{F r o}^{2}, \end{aligned}

$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$

trong đó biểu thị định mức Frobenius (yếu ). Đây là một vấn đề tối thiểu hóa bậc hai, trong đó các điều kiện tối ưu hóa bậc nhất có thể được tìm thấy bằng cách lấy các đạo hàm riêng của mục tiêu đối với và và đặt chúng về 0. Đây là, $||\cdot||Fro$ $l_2$ $Z_J$ $Z_B$

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$

Như đã lưu ý trong các nhận xét của người đăng ban đầu Justin Solomon, hệ thống này cho là đối xứng nên độ dốc liên hợp là một phương pháp không có ma trận lý tưởng. Một phần sau thảo luận về hệ thống này và cách giải quyết / điều kiện tiên quyết chi tiết hơn. $Z_J,Z_B$

Giải bài toán cập nhật (giải pháp ngưỡng phân tích) $x$

Bây giờ chúng ta chuyển sang chương trình con , $x$

{a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) = {a r g m i n}_{x} \sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2}

$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$

Điều đầu tiên cần thấy là tổng có thể được chia thành phần tử theo phần tử,

\sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2} = \sum_{i} | x_{i} | + \frac{α}{2} \sum_{i} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2},

$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$

Vì vậy, chúng ta có thể giải quyết song song phần tử bài toán bằng phần tử, thu được

x_{i}^{k + 1} = {a r g m i n}_{x_{i}} | x_{i} | + \frac{α}{2} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2} .

$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$

Dạng chung của phương trình này là,

min_{s} | s | + \frac{α}{2} (s - t)^{2} .

$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$

Hàm giá trị tuyệt đối đang cố gắng kéo điểm tối ưu về phía , trong khi thuật ngữ bậc hai đang cố gắng kéo điểm tối ưu về phía . do đó, giải pháp thực sự nằm ở đâu đó trên đoạn giữa hai phần, với việc tăng có xu hướng kéo điểm tối ưu về phía và giảm kéo điểm tối ưu về . $s=0$ $s=t$ $[0,t)$ $\alpha$ $t$ $\alpha$ $0$

Đây là một hàm lồi nhưng nó không khác biệt ở mức 0. Điều kiện cho một điểm tối thiểu hóa là phần phụ của mục tiêu tại điểm đó chứa 0. Thuật ngữ bậc hai có đạo hàm và hàm giá trị tuyệt đối có đạo hàm cho , tập hợp con có giá trị là khoảng khi và đạo hàm cho . Do đó, chúng ta có được hàm con cho hàm mục tiêu tổng thể, $\alpha(s-t)$ $-1$ $s < 0$ $[-1,1]$ $s=0$ $1$ $s > 0$

\partial_{s} (| s | + \frac{α}{2} (s - t)^{2}) = {\begin{cases} 1 + α (s - t) & s > 0 \\ [- 1, 1] + α t, & s = 0, \\ - 1 + α (s - t), & s < 0. \end{cases}

$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$

Từ đó, chúng ta thấy rằng phần con của mục tiêu tại chứa khi và chỉ khi , trong trường hợp đó là bộ thu nhỏ. Mặt khác, nếu không phải là bộ giảm thiểu, thì chúng ta có thể đặt đạo hàm một giá trị bằng 0 và giải cho bộ giảm thiểu. Làm điều này mang lại, $s=0$ $0$ $|t| \le \frac{1}{\alpha}$ $s=0$ $s=0$

{a r g m i n}_{s} | s | + \frac{α}{2} (s - t)^{2} = {\begin{cases} t - \frac{1}{α}, & t > \frac{1}{α}, \\ 0, & | t | \leq \frac{1}{α}, \\ t + \frac{1}{α}, & t < - \frac{1}{α} \end{cases}

$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$

Chuyên môn hóa kết quả này một lần nữa cho vấn đề thực sự mà chúng tôi đang cố gắng giải quyết trong câu hỏi ban đầu trong đó mang lại, Bản cập nhật cho chỉ đơn giản là $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$

J_{i j}^{k + 1} = {\begin{cases} Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} - \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} > \frac{1}{α}, \\ 0, & | Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} | \leq \frac{1}{α}, \\ Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} + \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} < - \frac{1}{α} . \end{cases}

$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$

B

$B$

B^{k + 1} = Z_{B} - \frac{1}{α} Γ_{B},

$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$

như ghi chú của poster gốc Justin Solomon trong các bình luận. Nhìn chung, thực hiện cập nhật cho chỉ cần lặp qua các mục trong ma trận của bạn và đánh giá các công thức trên cho mỗi mục. $J,B$

Bổ sung Schur cho hệ thống $Z_J,Z_B$

Bước tốn kém nhất của phép lặp là giải hệ thống,

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

Cuối cùng, cần có một số nỗ lực để xây dựng một bộ giải / điều kiện tiên quyết tốt cho hệ thống này. Trong phần này, chúng tôi làm như vậy bằng cách vector hóa , tạo thành phần bù Schur , thực hiện một số thao tác sản phẩm Krnoecker và sau đó hủy kích hoạt. Hệ thống bổ sung Schur kết quả là một phương trình Sylvester được sửa đổi một chút .

Trong những gì sau đây các danh tính sau đây về vector hóa và các sản phẩm Kronecker là hoàn toàn chính:

$\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
$(A \otimes B)(C \otimes D) = AC \otimes BD$ ,
$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$ và
$(A \otimes B)^T = A^T \otimes B^T$ .

Các danh tính này giữ bất cứ khi nào kích thước ma trận và tính không khả dụng sao cho mỗi bên của phương trình là một biểu thức hợp lệ.

Hình thức vector hóa của hệ thống là,

(α I + β [\begin{matrix} I \otimes M^{T} M & (Y \otimes M)^{T} \\ Y \otimes M & Y Y^{T} \otimes I \end{matrix}]) [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (α J + β M^{T} X + Γ_{J} - M^{T} Λ) \\ v e c (α B + β X Y^{T} + Γ_{B} - Λ Y^{T}) \end{matrix}],

$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$

hoặc,

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ β Y \otimes M & (α I + β Y Y^{T}) \otimes I \end{matrix}] [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) \end{matrix}],

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$

Trong đó và là ký hiệu ngưng tụ cho phía bên tay phải. Bây giờ chúng tôi thực hiện bổ sung block-gaussian-Elimination / Schur để loại bỏ khối dưới bên trái của ma trận, trong quá trình ngưng tụ các sản phẩm Kronecker. Đây là, $F$ $G$

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ 0 & (α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} \end{matrix}] \dots \cdot [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) - β Y \otimes M (α I + β M^{T} M)^{- 1} v e c (F) \end{matrix}] .

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$

Unvectorizing, hai phương trình chúng ta phải giải theo trình tự là,

$Z_{B} (α I + β Y Y^{T}) - (β M (α I + β M^{T} M)^{- 1} M^{T}) Z_{B} (β Y Y^{T}) \dots = G - β M (α I + β M^{T} M)^{- 1} F Y^{T}$ $Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$
$(α I + β M^{T} M) Z_{J} = F - β M^{T} Z_{B} Y .$ $(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$

Giải pháp của hệ thống bổ sung Schur khi vuông, thứ hạng cao $Y,M$

Trong phần này, chúng tôi giải quyết hệ thống bổ sung Schur cho (phương trình 1. ở trên) bằng cách sử dụng các SVD đầy đủ được tính toán trước của ma trận và áp dụng một phiên bản sửa đổi của thuật toán Bartels-Stewart cho Sylvester phương trình. Thuật toán được sửa đổi một chút từ phiên bản tiêu chuẩn để tính thêm cho thuật ngữ thứ hai, điều này làm cho nó không hoàn toàn là phương trình Sylvester. Khi được tìm thấy thông qua phương trình đầu tiên, có thể được tìm thấy từ phương trình thứ hai một cách dễ dàng. Phương trình thứ hai là tầm thường để giải quyết thông qua bất kỳ phương pháp nào bạn muốn. $Z_B$ $YY^T, MM^T, M^TM$ $\beta YY^T$ $Z_B$ $Z_J$

Phương pháp này đòi hỏi một chi phí trả trước để tính toán trước hai SVD đầy đủ trước khi quá trình ADMM bắt đầu, nhưng sau đó nhanh chóng được áp dụng trong các lần lặp ADMM thực tế. Vì phương thức xử lý các SVD đầy đủ của các ma trận ràng buộc, nên nó phù hợp khi chúng gần với thứ hạng vuông và cao. Một phương pháp phức tạp hơn sử dụng các SVD xếp hạng thấp cũng có thể, nhưng được trình bày trong phần sau.

Phương pháp phát triển như sau. Hãy biểu thị precomputed đầy đủ phân tách giá trị độc nhất vô nhị và ngưng tụ phía bên tay phải là . Sau đó phương trình đầu tiên trở thành, Nhân bởi các yếu tố trực giao để xóa bên trái và bên phải và thiết lập một ẩn số tạm thời mới , điều này tiếp tục trở thành,

Q D Q^{T} = Y Y^{T}, W Σ W^{T} = M M^{T}, V T V^{T} = M^{T} M

$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$

H

$H$

Z_{B} Q (α I + D) Q^{T} - W β Σ (α I + Σ)^{- 1} Σ W^{T} Z_{B} Q D Q^{T} = H .

$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$

A = W^{T} Z_{B} Q

$A = W^T Z_B Q$

A (α I + D) - β Σ (α I + Σ)^{- 1} Σ A D = W H Q^{T} .

$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$

Bây giờ chúng ta có thể tìm bằng cách giải hệ chéo , $A$

((α I + D) \otimes I + D \otimes β Σ (α I + Σ)^{- 1} Σ) v e c (A) = v e c (W H Q^{T}) .

$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$

Khi tìm thấy , chúng tôi tính và biết chúng tôi giải phương trình thứ hai ở trên cho , điều này không quan trọng vì chúng tôi đã có phân tách eigenvalue cho . $A$ $Z_B = W A Q^T$ $Z_B$ $Z_J$ $M^TM$

Chi phí trả trước là tính toán hai phép phân tách xác định giá trị xác định dương đối xứng của và , và sau đó chi phí mỗi lần lặp cho một giải pháp hoàn chỉnh bị chi phối bởi một số phép nhân ma trận, theo cùng một thứ tự cường độ như làm 1 phụ đề CG. Nếu các phân tách eigenvalue trả trước quá tốn kém, thì chúng có thể được tính toán một cách không chính xác bằng cách, ví dụ, chấm dứt sớm lặp Lanczos và giữ các hàm riêng lớn nhất. Sau đó, phương pháp có thể được sử dụng như một điều kiện tiên quyết tốt cho CG hơn là một người giải trực tiếp. $M^TM$ $YY^T$

Phương pháp giải khi rất hình chữ nhật hoặc có xấp xỉ thứ hạng thấp $M,Y$

Bây giờ chúng tôi chú ý đến việc giải quyết hoặc tiền điều kiện khi a) các ma trận đầu vào rất hình chữ nhật - có nghĩa là chúng có nhiều hàng hơn các cột hoặc ngược lại - hoặc b) chúng có xấp xỉ thứ hạng thấp. Đạo hàm dưới đây liên quan đến việc sử dụng rộng rãi công thức Woodbury, bổ sung Schur và các thao tác tương tự khác. $Z_J,Z_B$ $M,Y$

Chúng tôi bắt đầu với hệ thống bổ sung Schur của chúng tôi,

(α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} .

$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$

Một vài thao tác biến hệ thống này thành một dạng đối xứng hơn,

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I) v e c (Z_{B}) = (I \otimes (I + \frac{β}{α} M M^{T})) v e c (H) .

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$

Bây giờ chúng tôi mang lại các xấp xỉ thứ hạng thấp. Đặt là các xấp xỉ thứ hạng thấp của SVD hoặc xấp xỉ của và ( là giữ chỗ và không đã sử dụng). Việc thay thế chúng vào hệ thống của chúng tôi sẽ tạo ra ma trận nghịch đảo sau mà chúng tôi muốn áp dụng,

Q D^{1 / 2} Q_{2}^{T} = Y W Σ^{1 / 2} V^{T} = M

$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$

Y

$Y$

M

$M$

Q_{2}

$Q_2$

(α I + β I \otimes W Σ W^{T} + β Y Y^{T} \otimes I)^{- 1} .

$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$

Vì ma trận mà chúng ta đảo ngược là một bản cập nhật thứ hạng thấp cho danh tính, nên chiến lược hợp lý là thử sử dụng công thức Woodbury,

(A + U C U^{T})^{- 1} = A^{- 1} - A^{- 1} U (C^{- 1} + U^{T} A^{- 1} U)^{- 1} U^{T} A^{- 1} .

$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$

Tuy nhiên, một số chăm sóc là cần thiết vì các mảnh xếp hạng thấp và không trực giao. Do đó, để áp dụng công thức Woodbury, chúng tôi thu thập cả các bản cập nhật thứ hạng thấp thành một bản cập nhật lớn duy nhất. Doint như vậy và áp dụng công thức Woodbury năng suất, $I \otimes W$ $Y \otimes I$

{(\frac{1}{α} I + β [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] [\begin{matrix} I \otimes Σ \\ D \otimes Y \end{matrix}] [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}])}^{- 1} = α I - \frac{β}{α^{2}} [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] {[\begin{matrix} I \otimes (Σ^{- 1} + \frac{β}{α} I) & \frac{β}{α} Q \otimes W^{T} \\ \frac{β}{α} Q^{T} \otimes W & (D^{- 1} + \frac{β}{α} I) \otimes Y \end{matrix}]}^{- 1} [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}] .

$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$

Nghịch đảo lõi có thể được tính theo công thức nghịch đảo khối 2 x 2,

{[\begin{matrix} A & B \\ B^{T} & C \end{matrix}]}^{- 1} = [\begin{matrix} (A - B C^{- 1} B^{T})^{- 1} & - A^{- 1} B (C - B^{T} A^{- 1} B)^{- 1} \\ - C^{- 1} B^{T} (A - B C^{- 1} B^{T})^{- 1} & (C - B^{T} A^{- 1} B)^{- 1} \end{matrix}] .

$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$

Bài đăng này đã đủ dài, vì vậy tôi sẽ tiết kiệm các chi tiết dài của phép tính, nhưng kết quả cuối cùng là việc cắm các mô hình con cần thiết vào nghịch đảo khối và nhân mọi thứ thông qua việc mang lại hình thức rõ ràng sau cho nghịch đảo tổng thể,

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I)^{- 1} = \frac{1}{α} I - \frac{β}{α^{2}} (t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$

trong đó

\begin{aligned} t_{11} & = \frac{α}{β} I \otimes W l^{- 1} W^{T} \\ s_{11} & = (Q \otimes W l^{- 1}) D_{11} (Q^{T} \otimes l^{- 1} W^{T}) \\ t_{12} & = - \frac{α}{β} Q h^{- 1} Q^{T} \otimes W l^{- 1} W^{T} \\ s_{12} & = - (Q h^{- 1} \otimes W l^{- 1}) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ t_{21} & = t_{12} \\ s_{21} & = - (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes l^{- 1} W^{T}) \\ t_{22} & = \frac{α}{β} Q h^{- 1} Q^{T} \otimes I \\ s_{22} & = (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ D_{11} & = \frac{α}{β} {(h \otimes I - I \otimes l^{- 1})}^{- 1} \\ D_{22} & = \frac{α}{β} {(I \otimes l - h^{- 1} \otimes I)}^{- 1} \\ l & = \frac{α}{β} Σ^{- 1} + I \\ h & = \frac{α}{β} D^{- 1} + I . \end{aligned}

$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$

Trong biểu mẫu này, chúng ta có thể áp dụng nghịch đảo và tìm thuật ngữ theo thuật ngữ thông qua 8 bánh sandwich nhân ma trận trái và phải. Công thức chung để áp dụng tổng số sản phẩm Kronecker là, $Z_B$

((A_{1} \otimes B_{1}) + (A_{2} \otimes B_{2}) + \dots) v e c (C) = v e c (B_{1}^{T} C A_{1} + B_{2}^{T} C A_{2} + \dots) .

$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$

Lưu ý rằng tất cả các nghịch đảo rõ ràng mà chúng tôi đã kết thúc là đường chéo, vì vậy không có gì để được "giải quyết".

Mã giải tuyến tính

Tôi đã triển khai hai bộ giải ở trên trong Matlab. Dường như hoạt động tốt. Mã người giải quyết ở đây. $z_J,Z_B$

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

Một kịch bản thử nghiệm để kiểm tra rằng các bộ giải làm việc ở đây. Nó cũng cho thấy bằng cách ví dụ cách gọi mã bộ giải.

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

Kết luận

Các phương thức kiểu ADMM rất phù hợp cho các vấn đề như thế này, nhưng bạn sẽ cần phải triển khai thực hiện của riêng mình. Cấu trúc tổng thể của phương thức khá đơn giản nên việc thực hiện không quá khó trong một cái gì đó như MATLAB.

Phần còn thiếu trong bài đăng này cần được chỉ định để xác định đầy đủ phương pháp cho vấn đề của bạn là một lựa chọn tham số hình phạt . May mắn thay, phương pháp này thường khá mạnh mẽ miễn là các tham số vales không điên. Bài báo Boyd và Parikh có một phần về các tham số hình phạt cũng như các tham chiếu trong đó, nhưng tôi sẽ chỉ thử nghiệm các tham số cho đến khi bạn có được tỷ lệ hội tụ hợp lý. $\alpha,\beta$

Các chiến lược của bộ giải được trình bày có hiệu quả cao nếu các ma trận ràng buộc là a) dày đặc, vuông và xếp hạng cao hoặc b) có xấp xỉ thứ hạng thấp tốt. Một giải hữu ích mà có thể là một chủ đề công việc trong tương lai sẽ là một giải tối ưu hóa cho các trường hợp sau đây - ma trận hạn chế là thưa thớt và squareish và xếp hạng cao, nhưng tồn tại một preconditioner tốt cho . Đây sẽ là trường hợp nếu, ví dụ, là một Laplacian rời rạc. $Z_J,Z_B$ $M$ $\alpha I + MM^T$ $M$

— Nick Alger
nguồn

Thực hiện điều này ngay bây giờ! Để kiểm tra, ma trận giải cho và phải là đối xứng / xác định dương vì nó xuất phát từ các bình phương nhỏ nhất, phải không? Điều này theo kinh nghiệm dường như là đúng :-). Vì vậy, CG là một lựa chọn tốt hơn so với GMRES?

Z_{B}

$Z_B$

Z_{J}

$Z_J$

— Justin Solomon

Ngoài ra, tôi nghĩ cập nhật cho B là sai? Tôi đang giải quyết vấn đề này chi tiết hơn, nhưng nhớ lại B không xuất hiện trong hàm năng lượng của tôi (không có hạn), vì vậy tôi không chắc chắn chỉ nên lấy các giá trị trong Tôi đang nghĩ về điều này sai? Cảm ơn!

| B |

$|B|$

\pm (1 - 1 / α) .

$\pm (1-1/\alpha).$

— Justin Solomon

[errr đúng hơn, ]

B = Z_{B} - Γ_{B} / α

$B = Z_B-\Gamma_B/\alpha$

— Justin Solomon

Kinh ngạc! Sau khi đưa vào các công thức của riêng tôi cho và (có thể gần / tương đương với những gì bạn đã đăng nhưng có gì đó không hoạt động), điều này vượt xa so với phương pháp IRLS. Cảm ơn!

J

$J$

B

$B$

— Justin Solomon

Tin tốt. Rất tốt để xem khi đóng góp ở đây dẫn đến kết quả thực sự.

— Michael Grant

Bạn có thể muốn sử dụng một phương pháp không có ma trận để lập trình tuyến tính. Tôi không biết về bất kỳ phương pháp nào đặc biệt hướng đến lập trình tuyến tính, nhưng vẫn tồn tại các phương pháp điểm bên trong không có ma trận cho các chương trình bậc hai và cho các chương trình phi tuyến nói chung. Trường hợp chương trình bậc hai tương ứng chính xác với vấn đề của bạn, trong đó các hệ số dạng bậc hai đều là số không. (Bạn cũng có thể điều chỉnh các phương thức sử dụng các giải pháp tuyến tính chính xác cho cấu trúc của vấn đề của mình, nhưng cách thực hiện theo yêu cầu đó có thể không đáng giá và ít thực tế hơn so với sử dụng phương pháp không có ma trận.)

Tôi không biết bất kỳ gói tối ưu hóa thương mại nào thực hiện các biến thể không có ma trận của các phương thức điểm bên trong. IPOPT được cho là thực hiện một phương pháp điểm bên trong không có ma trận để lập trình phi tuyến, nhưng tôi không thể theo dõi các lệnh gọi API cho phép bạn sử dụng nó.

Ngoài CVX, có lẽ bạn có thể sử dụng GAM hoặc AMPL để nhập ma trận một lần và thiết lập các ràng buộc của bạn trong ngôn ngữ lập mô hình để sử dụng ma trận đó. Tuy nhiên, các phương thức được sử dụng bởi các phụ trợ của bộ giải cho CVX, GAM và AMPL không sử dụng các bộ giải không có ma trận; tất cả sẽ yêu cầu ma trận hệ số đầy đủ cho chương trình tuyến tính ở dạng chuẩn, sẽ rất lớn (nó sẽ là sản phẩm Kronecker của ma trận). Điều có thể sẽ xảy ra là bạn nhập chương trình tuyến tính của mình vào biểu mẫu ở trên bằng ngôn ngữ lập mô hình và sau đó ngôn ngữ lập mô hình sẽ dịch dữ liệu thành dạng có thể sử dụng được bởi người giải quyết phụ trợ. Biểu mẫu này sẽ yêu cầu ma trận rất lớn và tôi nghi ngờ bạn sẽ gặp phải các loại lỗi tương tự (trừ khi bạn chạy trên một máy có đủ bộ nhớ).

— Geoff Oxberry
nguồn

Hình như tôi đã thử tất cả những điều đúng đắn! Ban đầu tôi đã thử nghiệm với CVX và nó đã thất bại, vì vậy tôi đã chuyển sang IPOPT. Nhưng IPOPT đã có cùng một vấn đề. Tôi không biết rằng nó có tùy chọn không có ma trận, vì vậy tôi sẽ xem liệu tôi có thể tìm ra nó không.

— Justin Solomon

Tôi không chắc chắn nếu GAM / AMPL sẽ giúp vấn đề của tôi. Tôi rất vui khi giải quyết vấn đề dưới bất kỳ hình thức nào sẽ giúp người giải quyết làm đúng, nhưng như bạn nói đằng sau hậu trường, việc sử dụng sản phẩm Kronecker sẽ không hiệu quả.

— Justin Solomon

Bạn có đủ khả năng cho những SVD Geoffrey Irving được đề cập không? Nếu bạn có thể, tôi sẽ xem xét một cách tiếp cận lặp lại bình phương nhỏ nhất (IRLS) . Cách tiếp cận này sẽ giải quyết các vấn đề có dạng trong đó là ma trận trọng số.

\begin{array}{ll} minimize & \sum_{i j} W_{i j} J_{i j}^{2} \\ subject to & M J + B Y = X \end{array}

$\begin{array}{ll}\text{minimize}&\sum_{ij} W_{ij}J_{ij}^2\\\text{subject to}&MJ+BY=X\end{array}$

W

$W$

Các lần lặp bắt đầu với là ma trận tất cả; điều này mang lại một tối ưu . Việc lặp lại tiến hành với trong đó là một hằng số nhỏ ngăn chia cho 0. Tôi không hoàn toàn chắc chắn về các tiêu chí hội tụ, nhưng có lẽ liên kết Wikipedia tôi cung cấp ở trên có thể cung cấp cho bạn các tài liệu tham khảo. $W^{(0)}$ $J^{(0)}$

W_{i j}^{(k + 1)} = {| max {J_{i j}^{(k)}, ϵ} |}^{- 1}

$W_{ij}^{(k+1)}=\left|\max\{J_{ij}^{(k)},\epsilon\}\right|^{-1}$

ϵ

$\epsilon$

Bạn cũng có thể xem xét một phương pháp đặt hàng đầu tiên được làm mịn. TFOCS, mà tôi là đồng tác giả, có thể xử lý việc này bằng cách sử dụng bộ giải "làm phẳng hình nón kép" (SCD), nhưng nó sẽ không dễ sử dụng.

Nếu bạn muốn thử một phương pháp điểm nội thất không ma trận, hãy đọc tác phẩm của Jacek Gondzio.

EDIT: hmm, có thể là trường hợp IRLS sẽ không thể sử dụng SVD để tính toán các giải pháp. Nếu vậy tôi sẽ rơi trở lại một trong những lựa chọn khác.

— Michael Grant
nguồn

Tôi không chắc liệu tôi có thể sử dụng SVD ở đây không, nhưng IRLS là một ý tưởng tuyệt vời bất kể! Tốc độ không phải là mối quan tâm nhiều như trí nhớ, và thật xấu hổ tôi đã sử dụng IRLS cho một nghiên cứu liên quan vài tháng trước và nó hoạt động rất tốt (tự đá mình vì đã không thử điều này trước đây!). Ngay cả khi không có SVD cho IRLS, vẫn có thể thực hiện được bằng cách sử dụng bộ giải tuyến tính như CG không cần hệ thống đầy đủ. Trên thực tế, CG có thể bị dừng với các ràng buộc khá lỏng lẻo trước khi điều chỉnh như bạn đề xuất. Cũng xem xét một cách tiếp cận ADMM, nhưng tôi có ít kinh nghiệm hơn với điều đó.

W_{i j}

$W_{ij}$

— Justin Solomon

Vâng, ADMM cũng sẽ rất tuyệt. Tôi thực sự đã viết lên một phần đề nghị bạn loại bỏ Y hoàn toàn, nhưng sau đó tôi thấy rằng không vuông.

M

$M$

— Michael Grant

Đã triển khai chiến lược IRLS - nó hội tụ nhưng về mặt số lượng không hoạt động tốt vì hệ thống tuyến tính mà nó phải giải quyết là không có điều kiện nhờ vào một loạt các ; sử dụng GMRES để giải quyết hệ thống. Sẽ thử ADMM tiếp theo!

w

$w$

— Justin Solomon