Sự phức tạp tồi tệ nhất của Conjugate Gradient là gì?

9

Đặt , xác định đối xứng và dương. Giả sử phải mất đơn vị của công việc để nhân một vector bởi . Người ta biết rằng thực hiện thuật toán CG trên với số điều kiện yêu cầu , đơn vị công việc. $A\in \mathbb{R}^{n\times n}$ $m$ $A$ $A$ $\kappa$ $\mathcal{O} (m\sqrt{\kappa})$

Bây giờ, tất nhiên, là một câu lệnh đây là một giới hạn trên. Và thuật toán CG luôn có thể kết thúc ở các bước 0 với dự đoán ban đầu may mắn. $\mathcal{O}$

Chúng ta có biết nếu tồn tại RHS và dự đoán ban đầu (không may mắn) sẽ yêu cầu các bước không? Nói cách khác, sự phức tạp trong công việc trong trường hợp xấu nhất của CG có thực sự không? $\mathcal{\Theta}(\sqrt{\kappa})$ $\Theta( m \sqrt{\kappa})$

Câu hỏi này xuất hiện khi tôi cố gắng xác định xem lợi ích của điều kiện tiên quyết (thấp hơn ) có cao hơn chi phí của nó ( cao hơn ) hay không. Ngay bây giờ, tôi đang làm việc với các vấn đề về đồ chơi và muốn có một ý tưởng tốt hơn trước khi tôi thực hiện bất cứ điều gì trong một ngôn ngữ được biên dịch. $\kappa$ $m$

conjugate-gradient

— rán
nguồn

5

Có lẽ bạn có thể xây dựng một dự đoán ban đầu bi quan bằng cách chạy thuật toán CG "ngược" và đưa năng lượng phù hợp vào từng hướng tìm kiếm -orthogonal mà thuật toán yêu cầu tất cả các bước.

A

$A$

— origimbo 17/03/2016

9

Câu trả lời là có Tốc độ hội tụ giới hạn của là sắc nét hơn các thiết lập của ma trận xác định dương đối xứng với số trạng. Nói cách khác, không biết gì thêm vềhơn số điều kiện của nó, CG thực sự có thể mất $(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ $\kappa$ $A$ lặp để hội tụ. Nói một cách lỏng lẻo, phía trên-bound đạt được nếu các giá trị riêng củađược phân bố đều (tức là "tiêu năng") trong vòng một khoảng thời gian của số điều kiện. $\sim\sqrt{\kappa}$ $A$ $\kappa$

Đây là một tuyên bố nghiêm ngặt hơn. Các phiên bản xác định có liên quan nhiều hơn nhưng làm việc sử dụng các nguyên tắc tương tự.

Định lý (Lựa chọn trường hợp xấu nhất của ). Chọn bất kỳ ma trận trực giao ngẫu nhiên , chúng ta hãy là số thực thống nhất lấy mẫu từ khoảng thật , và để cho là số thực được lấy mẫu iid từ Gaussian tiêu chuẩn. Xác định $A$ $U$ $\lambda_1,\ldots,\lambda_n$ $n$ $[1,\kappa]$ $b=[b_1;\ldots;b_n]$ $n$ Sau đó, trong giới hạn , gradient liên hợp sẽ hội tụ với một xác suất để một giải pháp chính xác của trong không ít hơn

A = U d i a g (λ_{1}, \dots, λ_{n}) U^{T} .

$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$

n \to \infty

$n\to\infty$

ϵ

$\epsilon$

A x = b

$Ax=b$

lặp đi lặp lại.

Ω (\sqrt{κ} \log ϵ^{- 1})

$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$

Bằng chứng. Bằng chứng tiêu chuẩn dựa trên các xấp xỉ đa thức tối ưu của Ch Quashev, sử dụng các kỹ thuật được tìm thấy ở một số nơi, chẳng hạn như sách của Greenbaum hoặc sách của Saad .

— Richard Zhang
nguồn

1

Các ràng buộc là không sắc nét, như câu trả lời giải thích sau, Nếu các giá trị riêng không được phân phối đồng đều, cg hội tụ nhanh hơn, vì nó không phải là một phép lặp ổn định. Vì vậy, chúng ta cần biết thêm về ma trận.

— Guido Kanschat 20/03/2016

@GuidoKanschat: điểm tốt, và tôi đã khắc phục các tuyên bố làm rõ rằng độ sắc nét được đạt khắp

với điều kiện

.

A

$A$

κ

$\kappa$

— Richard Zhang

Các giấy tờ chứng minh nắm để giảm thiểu

trong không gian của mỗi phiên

đa thức thỏa mãn . Tương đương, đây là. Trong giới hạn đã nêu, và giải pháp cho vấn đề minimax sau đó là đa thức Ch Quashev, có lỗi hội tụ là

‖ p (A) ‖

$\|p(A)\|$

k

$k$

p (0) = 1

$p(0)=1$

min_{p} max_{λ \in Λ (A)} | p (λ) |

$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$

Λ (A) \to [1, κ]

$\Lambda(A)\to[1,\kappa]$

\sim \sqrt{κ}

$\sim\sqrt{\kappa}$

— Richard Zhang

0

Lấy điều này làm câu hỏi ban đầu của tôi: Chúng ta có biết nếu tồn tại RHS và dự đoán ban đầu (không may mắn) sẽ yêu cầu các bước không? $\Theta(\sqrt{\kappa})$

Câu trả lời cho câu hỏi là "không". Ý tưởng của câu trả lời này xuất phát từ nhận xét từ Guido Kanschat.

Yêu cầu: Đối với bất kỳ số điều kiện đã cho , tồn tại ma trận , với số điều kiện đó thuật toán CG sẽ chấm dứt tối đa hai bước (đối với bất kỳ RHS đã cho và dự đoán ban đầu). $k$ $A$

Hãy xem xét trong đó . Khi đó số điều kiện của là . Đặt là RHS và biểu thị giá trị riêng của là trong đó $A\in \mathbb{R}^{n\times n}$ $A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$ $A$ $\kappa$ $b\in \mathbb{R}^n$ $A$ $\lambda_i$

λ_{i} = {\begin{cases} 1 & i = 1 \\ κ & i \neq 1 \end{cases} .

$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$

Trước tiên chúng tôi xem xét trường hợp , dự đoán ban đầu, bằng không. Suy ra là ước tính thứ hai của từ thuật toán CG. Chúng tôi cho thấy bằng cách hiển thị . Thật vậy, chúng ta có $x^{(0)} \in \mathbb{R}^n$ $x^{(2)}\in \mathbb{R}^n$ $A^{-1}b$ $x^{(2)} =A^{-1}b$ $\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

\begin{aligned} ⟨ x^{(2)} - A^{- 1} b, A (x^{(2)} - A^{- 1} b) ⟩ & = {‖ x^{(2)} - A^{- 1} b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} {‖ (p (A) - A^{- 1}) b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} \sum_{i = 1}^{n} (p (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} \\ \leq \sum_{i = 1}^{n} (\hat{p} (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} = 0 \end{aligned}

$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$

Trong đó chúng tôi sử dụng đa thức bậc nhất được định nghĩa là . Vì vậy, chúng tôi đã chứng minh trường hợp cho . $\widehat{p}$ $\widehat{p}(x)= (1+\kappa-x)/\kappa$ $x^{(0)}= 0$

Nếu , thì trong đó là ước tính thứ hai của thuật toán CG với thay thế bằng . Vì vậy, chúng tôi đã giảm trường hợp này đến trường hợp trước. $x^{(0)} \not = 0$ $x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$ $\overline{x^{(2)} }$ $b$ $\overline{b} = b-A x^{(0)}$

— rán
nguồn

Bao nhiêu trong số này là mạnh mẽ để số học chính xác hữu hạn?

— origimbo

@origimbo Nếu câu hỏi của bạn được gửi cho tôi, câu trả lời là "Tôi không biết."

— fred