NumPy giải quyết các ô vuông nhỏ nhất cho các hệ thống chưa xác định như thế nào?

Hãy nói rằng chúng ta có X hình dạng (2, 5)
và y hình dạng (2,)

Những công việc này: np.linalg.lstsq(X, y)

Chúng tôi hy vọng điều này chỉ hoạt động nếu X có hình dạng (N, 5) trong đó N> = 5 Nhưng tại sao và như thế nào?

Chúng tôi nhận lại 5 trọng lượng như mong đợi nhưng vấn đề này được giải quyết như thế nào?

Có phải chúng ta có 2 phương trình và 5 ẩn số không?
Làm thế nào numpy có thể giải quyết điều này?
Nó phải làm một cái gì đó như nội suy để tạo ra các phương trình nhân tạo hơn? ..

least-squares linear-algebra numpy

— George Pligoropoulos
nguồn

Tại sao nó không hoạt động? Một hệ thống không xác định có nhiều giải pháp.

— Matthew Gunn

Bạn có thể có một liên kết đến lý thuyết có liên quan không? ..

— George Pligoropoulos

có liên quan: stackoverflow.com/questions/46879411/ từ

— Pinocchio

Sự hiểu biết của tôi là numpy.linalg.lstsq dựa trên dgelsd thường quy LAPACK .

Vấn đề là giải quyết:

minimize (over x) ‖ A x - b ‖_{2}

$\text{minimize} (\text{over} \; \mathbf{x}) \quad \| A\mathbf{x} - \mathbf{b} \|_2$

Tất nhiên, điều này không có một giải pháp duy nhất cho ma trận A có thứ hạng nhỏ hơn độ dài của vectơ . Trong trường hợp hệ thống không xác định, cung cấp giải pháp sao cho: $\mathbf{b}$ dgelsd $\mathbf{z}$

$A\mathbf{z} = \mathbf{b}$
$\| \mathbf{z} \|_2 \leq \|\mathbf{x} \|_2$ cho tất cả thỏa mãn . (tức là là giải pháp định mức tối thiểu cho hệ thống không xác định. $\mathbf{x}$ $A\mathbf{x} = \mathbf{b}$ $\mathbf{z}$

Ví dụ: nếu hệ thống là , numpy.linalg.lstsq sẽ trả về . $x + y = 1$ $x = .5, y = .5$

Làm thế nào để dgelsd làm việc?

dgelsdThường trình tính toán phân rã giá trị số ít (SVD) của A.

Tôi sẽ chỉ phác thảo ý tưởng đằng sau bằng cách sử dụng một SVD để giải quyết một hệ thống tuyến tính. Sự phân hủy giá trị đơn lẻ là một nhân tử $U \Sigma V' = A$ nơi $U$ và $V$ là ma trận trực giao và $\Sigma$ là một ma trận đường chéo nơi các mục chéo được gọi là giá trị duy nhất.

Thứ hạng hiệu quả của ma trận $A$ sẽ là số lượng các giá trị số ít có hiệu quả khác không (nghĩa là đủ khác với 0 so với độ chính xác của máy, v.v ...). Đặt $S$ là ma trận đường chéo của các giá trị số ít khác không. Do đó, SVD là:

A = U [\begin{matrix} S & 0 \\ 0 & 0 \end{matrix}] V^{'}

$A = U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V'$

Giả nghịch đảo của $A$ được cho bởi:

A^{†} = V [\begin{matrix} S^{- 1} & 0 \\ 0 & 0 \end{matrix}] U^{'}

$A^\dagger = V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U'$

Xét nghiệm $\mathbf{x} = A^\dagger \mathbf{b}$ . Sau đó:

\begin{aligned} A x - b & = U [\begin{matrix} S & 0 \\ 0 & 0 \end{matrix}] V^{'} V [\begin{matrix} S^{- 1} & 0 \\ 0 & 0 \end{matrix}] U^{'} b - b \\ = U [\begin{matrix} I & 0 \\ 0 & 0 \end{matrix}] U^{'} b - b \end{aligned}

$\begin{align*} A\mathbf{x} - \mathbf{b} &= U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V' V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b} \\ &= U \begin{bmatrix} I & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b}\\ \end{align*}$

Về cơ bản có hai trường hợp ở đây:

$I$ $\mathbf{b}$
$A\mathbf{x} - \mathbf{b} = \mathbf{0}$

$U$

Sự tương đương của giả nghịch đảo

$A$

A^{†} = A^{'} {(A A^{'})}^{- 1}

$A^\dagger = A'\left(AA' \right)^{-1}$

Đối với một hệ thống không xác định, bạn có thể chỉ ra rằng giả nghịch đảo cung cấp cho bạn giải pháp định mức tối thiểu.

$A$

A^{†} = {(A^{'} A)}^{- 1} A^{'}

$A^\dagger = \left(A'A \right)^{-1}A'$

— Matthew Gunn
nguồn

dgelsd sử dụng SVD nhưng R lm sử dụng QR?

— Haitao Du

@ hxd1011R's lmsử dụng hệ số QR theo mặc định nhưng bạn có thể chỉ định các lựa chọn thay thế.

— Sycorax nói phục hồi Monica