Nguyên tắc đằng sau sự hội tụ của các phương pháp không gian con Krylov để giải các hệ phương trình tuyến tính là gì?

Theo tôi hiểu, có hai loại phương pháp lặp chính để giải các hệ phương trình tuyến tính:

Phương pháp văn phòng phẩm (Jacobi, Gauss-Seidel, SOR, Multigrid)
Các phương thức không gian con Krylov (Conjugate Gradient, GMRES, v.v.)

Tôi hiểu rằng hầu hết các phương pháp đứng yên hoạt động bằng cách lặp đi lặp lại (làm mịn) các chế độ Fourier của lỗi. Theo tôi hiểu, phương pháp Gradient Conjugate (phương pháp không gian con Krylov) hoạt động bằng cách "bước" thông qua một tập hợp các hướng tìm kiếm tối ưu từ các quyền hạn của ma trận áp dụng cho phần dư thứ $n$ . Là nguyên tắc này phổ biến cho tất cả các phương pháp không gian con Krylov? Nếu không, làm thế nào để chúng ta mô tả nguyên tắc đằng sau sự hội tụ của các phương pháp không gian con Krylov, nói chung?

— Paul
nguồn

Phân tích của bạn về các phương pháp đứng yên bị sai lệch bởi các vấn đề mô hình đơn giản, bởi vì chúng có thể được phân tích theo các chế độ Fourier. Nó cũng bỏ qua định hướng xen kẽ (ADI) và nhiều phương pháp khác. Điểm của hầu hết các "Phương pháp tĩnh" là kết hợp nhiều bộ giải "một phần gần đúng" đơn giản vào một bộ giải lặp. Điểm của các phương pháp Krylov là tăng tốc (hoặc thậm chí thực thi) sự hội tụ của một phép lặp tuyến tính cố định nhất định.

— Thomas Klimpel

Một bài báo mà tôi nghĩ đã được viết để trả lời câu hỏi của bạn là Ipsen và Meyer, Ý tưởng đằng sau phương pháp Krylov, Amer. Môn Toán. Hàng tháng 105 (1998) trang 889-899. Đó là một bài viết tuyệt vời bằng văn bản và làm rõ, có sẵn ở đây .

— Andrew T. Barker

@ AndrewT.Barker: Tuyệt vời! Cảm ơn Andrew! :)

— Paul

Câu trả lời:

Nói chung, tất cả các phương pháp Krylov về cơ bản đều tìm kiếm một đa thức nhỏ khi được đánh giá trên phổ của ma trận. Cụ thể, phần dư thứ của phương pháp Krylov (với số lần đoán ban đầu bằng 0) có thể được viết dưới dạng $n$

r_{n} = P_{n} (A) b

$r_n = P_n (A) b$

Trong đó là một đa thức monic bậc $P_n$ $n$ .

Nếu là những đường chéo, với , chúng tôi có $A$ $A=V\Lambda V^{-1}$

\begin{array}{rcl} ‖ r_{n} ‖ & \leq & ‖ V ‖ \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ V^{- 1} ‖ \cdot ‖ b ‖ \\ = & κ (V) \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ b ‖ . \end{array}

$\begin{eqnarray*} \|r_n\| &\leq& \|V\|\cdot \|P_n(\Lambda)\|\cdot \|V^{-1}\|\cdot \|b\|\\ &=& \kappa(V) \cdot \|P_n(\Lambda)\| \cdot \|b\|. \end{eqnarray*}$

Trong trường hợp bình thường (ví dụ: đối xứng hoặc đơn nhất), chúng ta biết rằng GMRES xây dựng một đa thức như vậy thông qua phép lặp Arnoldi, trong khi CG xây dựng đa thức bằng cách sử dụng một sản phẩm bên trong khác (xem câu trả lời này $A$ $\kappa(V) = 1.$ để biết chi tiết ). Tương tự, BiCG xây dựng đa thức của nó thông qua quá trình Lanczos không đối xứng, trong khi phép lặp Chasershev sử dụng thông tin trước về phổ (thường ước tính các giá trị riêng lớn nhất và nhỏ nhất cho ma trận xác định đối xứng).

Như một ví dụ thú vị (được thúc đẩy bởi Trefethen + Bau), hãy xem xét một ma trận có phổ là:

Phổ của ma trận

Trong MATLAB, tôi đã xây dựng điều này với:

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

Nếu chúng ta xem xét GMRES, xây dựng các đa thức thực sự giảm thiểu phần dư trên tất cả các đa thức monic bậc , chúng ta có thể dễ dàng dự đoán lịch sử còn lại bằng cách nhìn vào đa thức ứng cử viên $n$

P_{n} (z) = (1 - z)^{n}

$P_n (z) = (1-z)^n$

mà trong trường hợp của chúng tôi cho

| P_{n} (z) | = \frac{1}{2^{n}}

$|P_n(z)| = \frac{1}{2^n}$

cho trong quang phổ của . $z$ $A$

Bây giờ, nếu chúng ta chạy GMRES trên RHS ngẫu nhiên và so sánh lịch sử còn lại với đa thức này, chúng phải khá giống nhau (các giá trị đa thức ứng cử viên nhỏ hơn GMRES dư vì ): $\|b\|_2 > 1$

Lịch sử còn lại

— Reid.Atcheson
nguồn

Bạn có thể làm rõ những gì bạn có nghĩa là "nhỏ trên phổ của ma trận"?

— Paul

Thực hiện như là một đa thức phức tạp, đa thức có mô đun nhỏ trong một khu vực của mặt phẳng phức bao gồm quang phổ của . Hãy tưởng tượng một âm mưu đường viền được đặt chồng lên một âm mưu phân tán của các giá trị riêng. Nhỏ như thế nào là nhỏ? Nó phụ thuộc vào vấn đề, liệu có bình thường không, và bên tay phảiMặc dù vậy, ý tưởng cơ bản là chuỗi các đa thức tìm cách tăng dần và nhỏ hơn trên phổ để ước lượng dư trong câu trả lời của tôi có xu hướng về .

P_{n}

$P_n$

A

$A$

A

$A$

b .

$b.$

(P_{n})

$(P_n)$

0

$0$

— Reid.Atcheson

@ Reid.Atcheson: Rất tốt. Tôi có thể khuyên bạn nên viếtnhư và đề cập rằng nó là một cho ma trận bình thường?

‖ V ‖ ‖ V^{- 1} ‖

$\|V\|\|V^{-1}\|$

κ (V)

$\kappa(V)$

— Jack Poulson

Điều kiện tiên quyết Laplacian bởi SOR tối ưu có phổ rất giống với ma trận ví dụ này. Chi tiết tại đây: scicomp.stackexchange.com/a/852/119

— Jed Brown

Nói đúng ra, CGNE độc lập với phổ vì nó chỉ phụ thuộc vào các giá trị số ít.

— Jed Brown

Về định mức

$n^{\mathrm{th}}$ $P_n$ $2$

r_{n} = A x_{n} - b = (P_{n} (A) - 1) b - b = P_{n} (A) b .

$r_n = A x_n - b = \big(P_n(A) - 1 \big)b - b = P_n(A) b .$

$A$ $A$ $A^{-1}$

\begin{aligned} ‖ r_{n} ‖_{{Một}^{- 1}} & = = r_{n}^{T} {Một}^{- 1} r_{n} \\ = = (Một e_{n})^{T} {Một}^{- 1} Một e_{n} \\ = = e_{n}^{T} Một e_{n} \\ = = ‖ e_{n} ‖_{Một} \end{aligned}

$\begin{align*} \lVert r_n \rVert_{A^{-1}} &= r_n^T A^{-1} r_n \\ &= (A e_n)^T A^{-1} A e_n \\ &= e_n^T A e_n \\ &= \lVert e_n \rVert_{A} \end{align*}$

nơi chúng tôi đã sử dụng lỗi

e_{n} = = x_{n} - x_{*} = = x_{n} - {Một}^{- 1} b = = {Một}^{- 1} r_{n}

$e_n = x_n - x_* = x_n - A^{-1} b = A^{-1} r_n$

$A$ $A^{-1}$ $A$ $2$ $A^T A$ $A$

Độ sắc nét của giới hạn hội tụ

Cuối cùng, có tài liệu thú vị liên quan đến các phương pháp Krylov khác nhau và sự tinh tế của sự hội tụ GMRES, đặc biệt là đối với các nhà khai thác không bình thường.

Nachtigal, Reddy và Trefethen (1992) Tốc độ lặp ma trận không đối xứng nhanh như thế nào? (pdf của tác giả) đưa ra các ví dụ về ma trận mà một phương thức đánh bại tất cả các phương thức khác bằng một hệ số lớn (ít nhất là căn bậc hai của kích thước ma trận).
Embree (1999) Mô tả về giới hạn hội tụ của GMRES như thế nào? đưa ra một cuộc thảo luận sâu sắc về mặt giả hành, đưa ra các giới hạn sắc nét hơn và cũng áp dụng cho các ma trận không chéo.
Embree (2003) Rùa và thỏ rừng khởi động lại GMRES (tác giả pdf)
Greenbaum, Pták và Strakoš (1996) Bất kỳ đường cong hội tụ không tăng nào đều có thể cho GMRES

— Jed Brown
nguồn

Bạn rời khỏi cuốn sách tuyệt vời bởi Olavi Nevanlinna: books.google.com/...

— Matt Knepley

Phương pháp lặp trong một tóm tắt:

$Ax=b$ $C$
$x = = x + C b - C Một x$ $x = x + Cb- CAx$ $\|I-CA\|<1$ $C$ $C=D^{-1}$ $D$ $A$
$U,V\subset \mathbb{C}^n$ $\tilde x \in U$ $b-A\tilde x$ $V$ $U$ $A$ $V$ $V=U$ $V=AU$

$V$ $\tilde x$ $U$ $U$

$U$ $A$ $\tilde x$

Điều này được giải thích độc đáo trong cuốn sách của Youcef Saad về các phương pháp lặp .

— Christian Clason
nguồn