Tại sao lỗi xây dựng lại của SVD bị cắt ngắn bằng tổng giá trị số bình phương?

Tôi đã thấy công thức này trong sách giáo khoa: bình phương Frobenius bình phương của ma trận gốc trừ đi SVD bị cắt ngắn của nó (có thể được xem là lỗi xấp xỉ) bằng tổng các giá trị số bình phương. $\mathbf X$ $\mathbf X_k$

Tại sao vậy? Làm thế nào để chứng minh điều đó?

svd approximation

— người dùng93892
nguồn

Hãy để là SVD của ma trận . Hãylà bất kỳ định mức ma trận nào là trái và phải bất biến dưới các phép biến đổi trực giao (phản xạ và phép quay); nghĩa là, bất cứ khi nào là ma trận trực giao hoặc là ma trận trực giao , thì

X = U Σ V^{'}

$X = U\Sigma V^\prime$

n \times r

$n\times r$

X

$X$

| | | |

$||\quad ||$

P

$P$

n \times n

$n\times n$

Q

$Q$

r \times r

$r\times r$

| | P^{'} X Q | | = | | X | | .

$||P^\prime X Q|| = ||X||.$

Sau đó, theo định nghĩa của SVD , tính trực giao của và ngụ ý $U$ $V$

| | U^{'} (X - A) V | |^{2} = | | Σ - U^{'} A V | |^{2} .

$||U^\prime (X-A) V||^2 = ||\Sigma - U^\prime A V||^2.$

Do được xây dựng để biến thành ma trận đường chéo phù hợp với các mục nhập đầu tiên của ma trận đường chéo , nên phía bên tay phải chỉ là bình phương bình phương của sau khi các mục nhập đường chéo đó bị xóa. $A$ $U^\prime A V$ $k$ $\Sigma$ $\Sigma$ $k$

Đối với định mức Frobenius (có bình phương là tổng các mục bình phương của đối số của nó), chính xác bình phương của bản sao không có giá trị này của là tổng bình phương của các mục còn lại của nó, chính xác là $\Sigma$

| | Σ - U^{'} A V | |^{2} = \sum_{j = k + 1}^{r} δ_{j}^{2} .

$||\Sigma - U^\prime A V||^2 = \sum_{j=k+1}^r \delta_j^2.$

Nhưng định mức Frobenius rõ ràng là bất biến dưới phép nhân trái và phải bởi các ma trận trực giao, vì tính trực giao theo định nghĩa có nghĩa là bảo toàn định mức Euclide và định mức Frobenius (khi bình phương) là cả (a) tổng bình phương của các hàng Euclide (và như vậy là bất biến dưới phép nhân trái, bảo toàn từng chỉ tiêu hàng) và (b) tổng các chỉ tiêu Euclide bình phương của các cột (và do đó là bất biến dưới phép nhân phải, bảo toàn từng chỉ tiêu cột).

— whuber
nguồn