Số điều kiện của công thức A'A và AA '

9

Nó được hiển thị (Yousef Saad, phương pháp lặp cho các hệ thống tuyến tính thưa thớt , trang 260) mà $cond(A'A) \approx cond(A)^2$

Điều này có đúng với không? $AA'$

Trong trường hợp là với , tôi quan sát thấy đó $A$ $N\times M$ $N \ll M$ $cond(A'A) \gg cond(AA')$

Điều đó có nghĩa là công thức trong điều khoản của được ưu tiên hơn trong trường hợp này? $AA'$

linear-algebra condition-number

— Alexander
nguồn

2

Bạn đang so sánh số điều kiện của hai ma trận với kích thước rất khác nhau. Không có lời giải thích tại sao, có vẻ như sự so sánh đó có lẽ không có ý nghĩa. Chắc chắn, nếu bạn có thể thực hiện những gì bạn cần bằng cách sử dụng ma trận nhỏ hơn nhiều, bạn nên (ngay cả khi điều hòa tương tự).

— David Ketcheson

1

Câu trả lời mới của Stefano M dưới đây là chính xác. Xin vui lòng đọc nó và bỏ phiếu lên.

— David Ketcheson

6

Nếu với , sau đó sao cho không thể xếp hạng đầy đủ, tức là số ít. $A\in\mathbb{R}^{N\times M}$ $N<M$

r một n k ({Một}^{T} Một) = = r một n k (Một {Một}^{T}) = = r một n k (Một) \leq N < M

$\mathop{\mathrm{rank}}(A^TA) = \mathop{\mathrm{rank}}(AA^T) = \mathop{\mathrm{rank}}(A) \leq N < M$

A^{T} A \in R^{M \times M}

$A^TA \in \mathbb{R}^{M\times M}$

Theo số điều kiện là . Do số học chính xác hữu hạn, nếu bạn tính toán trong MATLAB, bạn có được một số lượng lớn, không . $\kappa_2(A^TA)=\infty$ cond(A'A)Inf

— Stefano M
nguồn

@OscarB: các giá trị số ít của

chỉ là

, không có thứ gọi là giá trị số ít thứ

! Nguồn gốc của mình là đúng, nhưng xin lưu ý rằng nếu

,

là của sv

, sau đó

, trong khi

A

$A$

N

$N$

M

$M$

σ_{i}

$\sigma_i$

i = 1 \dots N

$i=1\dots N$

A

$A$

S S^{T} = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2})

$SS^T=\mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2)$

với

trailing số không.

S^{T} S = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2}, 0, \dots, 0)

$S^TS = \mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2, 0, \dots, 0)$

M - N

$M-N$

— Stefano M

8

Vâng, chúng ta hãy nhìn vào lý do tại sao có xấp xỉ số điều kiện bình phương của . Sử dụng phân hủy SVD của , với , , , chúng tôi có thể bày tỏ khi $A^TA$ $A$ $A=USV^T$ $U \in \mathbb{R}^{N \times N}$ $S \in \mathbb{R}^{N \times M}$ $V \in \mathbb{R}^{M \times M}$ $A^T A$

$A^T A=(USV^T)^T USV^T=VS^T U^T U S V^T=V S^T S V^T$

Mà chúng tôi đến bằng cách ghi nhận rằng là trực giao, như vậy mà . Hơn nữa, chúng tôi lưu ý rằng là một ma trận đường chéo, sao cho phép phân tách cuối cùng của có thể được biểu thị là , với có nghĩa là , thu được một ma trận đường chéo với các giá trị N đầu tiên từ bình phương theo đường chéo. Điều này có nghĩa là vì số điều kiện là tỷ lệ của giá trị số ít đầu tiên và cuối cùng, $U$ $U^T U=I$ $S$ $A^TA$ $V S^2 V^T$ $S^2$ $S^T S$ $S$ cho, $cond(A)=\frac{s_1}{s_N}$ $A \in \mathbb{R}^{N \times M}$

$cond(A^T A)=\frac{s_1^2}{s_M^2}=(\frac{s_1}{s_M})^2=cond(A)^2$

Bây giờ, chúng ta có thể thực hiện bài tập tương tự với : $AA^T$

$AA^T=USV^T (USV^T)^T=USV^T V S^T U^T=U S^2 U^T$

Điều đó có nghĩa là chúng ta nhận được kết quả , vìở đây có nghĩa là, một sự khác biệt tinh tế so với ký hiệu ở trên. $cond(AA^T)=\frac{s_1^2}{s_N^2}$ $S^2$ $SS^T$

Nhưng lưu ý rằng sự khác biệt tinh tế! Đối với , số điều kiện có giá trị số ít M'th trong mẫu số, trong khi có giá trị số ít N'th. Điều này giải thích lý do tại sao bạn đang nhìn thấy sự khác biệt đáng kể về số lượng điều kiện - thực sự sẽ là “tốt hơn lạnh” hơn . $A^TA$ $AA^T$ $AA^T$ $A^TA$

Tuy nhiên, David Ketcheson đã đúng - bạn đang so sánh các số điều kiện giữa hai ma trận khác nhau rất lớn. Đặc biệt, những gì bạn có thể thực hiện với sẽ không giống như những gì bạn có thể thực hiện với . $A^TA$ $AA^T$

— OscarB
nguồn

Đó là một lời giải thích tuyệt vời! Tôi thấy sự khác biệt rõ ràng bây giờ. Ma trận A được sử dụng để xây dựng phương trình bình thường và với những thay đổi nhỏ bạn cũng có thể xây dựng nó như

, không phải cổ điển

. Bạn có thể nói rõ nếu sử dụng bộ giải như LSQR thay vì giải các phương trình bình thường không? Vì LSQR hoàn toàn không yêu cầu xây dựng sản phẩm này.

A A^{'}

$AA'$

A^{'} A

$A'A$

— Alexander

Vui mừng nó có ý nghĩa. Nói chung, bạn cần xem xét điều hòa của vấn đề. Nhưng, nếu đó không phải là vấn đề, bạn có thể sử dụng phương trình bình thường / hệ số QR (của A) / LSQR, tùy thuộc vào quy mô của vấn đề (trong số những thứ khác). Trừ khi vấn đề của bạn lớn hoặc không có điều kiện, tôi có thể sẽ áp dụng yếu tố QR, nhưng không có thêm kiến thức về vấn đề bạn đang cố gắng giải quyết, thật khó để nói. Tôi chắc chắn những người khác có nhiều kinh nghiệm có thể cung cấp lời khuyên chi tiết hơn.

— OscarB

Bản thân A bị điều hòa (với số điều kiện

), dày đặc và lớn. QR không phải là một lựa chọn. Vì nó không có điều kiện nên tôi phải thêm một số quy tắc. Bây giờ đơn giản hóa Tikhonov dường như là đủ. Vấn đề là nếu

(đối với trường hợp của tôi với

\approx 10^{7}

$\approx 10^7$

c o n d (A) < c o n d (A A^{T}) < c o n d (A^{T} A)

$cond(A) < cond(AA^T) < cond(A^T A)$

N < M

$N < M$ ) sau đó sử dụng LSQR dường như luôn luôn thích hợp hơn vì bạn không cần phải tạo bất kỳ sản phẩm nào cả. Câu hỏi là nếu các giải pháp thu được với phương trình bình thường và LSQR là giống hệt nhau?

— Alexander

Theo tôi hiểu, LSQR sẽ cung cấp một giải pháp giống hệt với các phương trình bình thường sau khi lặp lại "vô số" chính xác. Tuy nhiên, đối với các bài toán không chính xác, giải pháp phương trình bình thường không phải là vấn đề bạn muốn. Thay vào đó, bạn muốn sử dụng LSQR để lặp lại cho đến khi đạt được bán hội tụ. Tuy nhiên, kiểm soát các thuật toán lặp trong các vấn đề không chính đáng là một trò chơi bóng khác. Ngoài ra, tùy thuộc vào chi phí của sản phẩm vectơ ma trận của bạn và số lần lặp (và do đó là matvec) cần thiết, một giải pháp tikhonov trực tiếp với phương pháp hai chiều có thể tốt hơn.

— OscarB

Giải thích tuyệt vời. +1 cho bạn ạ!

— meawoppl

2

Khiếu nại mà (đối với ma trận vuông) ~~trong câu hỏi và~~ [Chỉnh sửa: Tôi đọc sai] trong câu trả lời của Artan là vô nghĩa. Ví dụ phản biện $\DeclareMathOperator{\cond}{cond} \cond A^2 \approx \cond A^T A$

Một = = (\begin{matrix} ε & 1 \\ 0 & ε \end{matrix}), ε « 1

$\newcommand\bigO{\mathcal{O}}A = \begin{pmatrix} \epsilon & 1 \\ 0 & \epsilon \end{pmatrix}, \quad \epsilon \ll 1$

mà bạn có thể dễ dàng kiểm tra xem trong khi . $\cond A^T A = \bigO(\epsilon^{-4})$ $\cond A^2 = \bigO(\epsilon^{-2})$

— Jed Brown
nguồn

Ok nhấn mạnh rằng

và

nói chung rất khác nhau về những gì liên quan đến eigs, svds, cond number: nhưng theo tôi, yêu cầu của câu hỏi là về

.

A^{2}

$A^2$

A^{T} A

$A^T A$

[c o n d (A)]^{2}

$[\mathrm{cond}(A)]^2$

— Stefano M

@StefanoM Cảm ơn, có vẻ như tôi đã đọc sai, mặc dù từ cuộc thảo luận, không phải là người duy nhất.

— Jed Brown

1

Trong chính xác số học cond (A ^ 2) = cond (A'A) = cond (AA '), xem ví dụ. Golub và van Loan, tái bản lần 3, tr70. Điều này không đúng trong số học dấu phẩy động nếu A gần như thiếu thứ hạng. Lời khuyên tốt nhất là làm theo các công thức sách ở trên khi giải các bài toán vuông nhỏ nhất, cách tiếp cận SVD an toàn nhất, p257. Thay vào đó, hãy sử dụng \ varepsilon-rank khi tính toán SVD, trong đó \ varepsilon là độ phân giải của dữ liệu ma trận của bạn.

— Nghệ nhân
nguồn

Tôi xin lỗi, tôi đã xem Golub và Van Loan lần thứ 3 p. 70 và không thể tìm thấy bất cứ điều gì sao lưu câu lệnh cond (A ^ 2) = cond (A ^ TA) = cond (AA ^ T). Bạn có thể cụ thể hơn với tài liệu tham khảo của bạn?

— OscarB

Không có tuyên bố nào ở đó, nhưng bạn có thể rút ra từ định lý 2.5.2 và giả, phần 5.5.4 mà cond (AA ') = cond (A'A). Lý do mà tôi dùng giả là đây là điều quan trọng đối với vấn đề bình phương nhỏ nhất trong tay. Bình đẳng sau cond (A ^ 2) phải là \ xấp xỉ, xin lỗi vì lỗi đánh máy.

— Artan

Không, câu trả lời này là hoàn toàn không chính xác. Xem ví dụ phản biện của tôi.

— Jed Brown

Saad phải đã thực hiện một điểm như vậy đến một số bối cảnh cụ thể. Những gì có liên quan cho câu hỏi trong tầm tay là lý lẽ tiến hành.

— Artan