Định mức nào của lỗi tái cấu trúc được giảm thiểu bằng ma trận xấp xỉ bậc thấp thu được với PCA?

Cho một PCA (hoặc SVD) xấp xỉ của ma trận với một ma trận , chúng ta biết rằng là xấp xỉ hạng thấp nhất của . $X$ $\hat X$ $\hat X$ $X$

Đây có phải là theo gây chuẩn $\parallel \cdot \parallel_2$ (tức là tiêu chuẩn eigenvalue lớn nhất) hoặc theo Frobenius chuẩn mực? $\parallel \cdot \parallel_F$

pca svd matrix-decomposition

— Donbeo
nguồn

Câu trả lời duy nhất: Cả hai.

Hãy bắt đầu với việc xác định các tiêu chuẩn. Đối với ma trận , toán tử -norm được định nghĩa là và định mức Frobenius là trong đó là các giá trị số ít của , tức là các phần tử đường chéo của trong phân tách giá trị số ít . $X$ $2$

‖ X ‖_{2} = s u p \frac{‖ X v ‖_{2}}{‖ v ‖_{2}} = m a x (s_{i})

$\|X\|_2 = \mathrm{sup}\frac{\|Xv\|_2}{\|v\|_2} = \mathrm{max}(s_i)$

‖ X ‖_{F} = \sqrt{\sum_{i j} X_{i j}^{2}} = t r (X^{⊤} X) = \sqrt{\sum s_{i}^{2}},

$\|X\|_F = \sqrt {\sum_{ij} X_{ij}^2} = \mathrm{tr}(X^\top X) = \sqrt{\sum s_i^2},$

s_{i}

$s_i$

X

$X$

S

$S$

X = U S V^{⊤}

$X = USV^\top$

PCA được cung cấp bởi cùng một phân tách giá trị số ít khi dữ liệu được căn giữa. $US$ là các thành phần chính, $V$ là các trục chính, tức là các hàm riêng của ma trận hiệp phương sai và việc xây dựng lại $X$ chỉ với các thành phần chính $k$ tương ứng với các giá trị số ít $k$ lớn nhất được đưa ra bởi $X_k = U_k S_k V_k^\top$ .

Các Eckart-Young lý nói rằng là ma trận giảm thiểu các chỉ tiêu lỗi tái thiếttrong số tất cả các ma trận của bậc . Điều này đúng cho cả hai, định mức Frobenius và toán tử -norm. Như @cardinal đã chỉ ra trong các bình luận, lần đầu tiên nó được chứng minh bởi Schmidt (của danh tiếng Gram-Schmidt) vào năm 1907 cho trường hợp Frobenius. Sau đó, nó đã được Eckart và Young khám phá lại vào năm 1936 và hiện chủ yếu gắn liền với tên của họ. Mirsky đã khái quát định lý vào năm 1958 cho tất cả các định mức bất biến dưới các phép biến đổi đơn vị, và điều này bao gồm toán tử 2 định mức. $X_k$ $\|X-A\|$ $A$ $k$ $2$

Định lý này đôi khi được gọi là định lý Eckart-Young-Mirsky. Stewart (1993) gọi đó là định lý gần đúng của Schmidt. Tôi thậm chí đã nhìn thấy nó được gọi là định lý Schmidt-Eckart-Young-Mirsky.

Eckart và Young, 1936, Sự gần đúng của một ma trận bởi một ma trận khác có thứ hạng thấp hơn
Mirsky, 1958, Chức năng đo đối xứng và các chỉ tiêu bất biến
Stewart, 1993, Về lịch sử ban đầu của sự phân rã giá trị số ít

Bằng chứng cho toán tử -norm $2$

Đặt là hạng đầy đủ . Vì là hạng , không gian null của nó có kích thước . Không gian được kéo dài bởi các vectơ số đơn bên phải của tương ứng với các giá trị số ít lớn nhất có kích thước. Vậy hai không gian này phải giao nhau. Đặt là một vectơ đơn vị từ giao điểm. Sau đó, chúng tôi nhận được: QED. $X$ $n$ $A$ $k$ $n-k$ $k+1$ $X$ $k+1$ $w$

‖ X - Một ‖_{2}^{2} \geq ‖ (X - Một) w ‖_{2}^{2} = = ‖ X w ‖_{2}^{2} = = Σ_{tôi = = 1}^{k + 1} S_{tôi}^{2} (v_{tôi}^{⊤} w)^{2} \geq S_{k + 1}^{2} = = ‖ X - X_{k} ‖_{2}^{2},

$\|X-A\|^2_2 \ge \|(X-A)w\|^2_2 = \|Xw\|^2_2 = \sum_{i=1}^{k+1}s_i^2(v_i^\top w)^2 \ge s_{k+1}^2 = \|X-X_k\|_2^2,$

Bằng chứng cho định mức Frobenius

Chúng tôi muốn tìm ma trận của hạng giảm thiểu . Chúng ta có thể xác định , trong đó có cột trực giao. Giảm thiểu cho cố định là một vấn đề hồi quy với giải pháp . Cắm nó vào, chúng tôi thấy rằng bây giờ chúng tôi cần giảm thiểu Trong đó là ma trận hiệp phương sai của , tức là $A$ $k$ $\|X-A\|^2_F$ $A=BW^\top$ $W$ $k$ $\|X-BW^\top\|^2$ $W$ $B=XW$

‖ X - X W W^{⊤} ‖^{2} = = ‖ X ‖^{2} - ‖ X W W^{⊤} ‖^{2} = = c o n S t - t r (W W^{⊤} X^{⊤} X W W^{⊤}) = = c o n S t - c o n S t \cdot t r (W^{⊤} Σ W),

$\|X-XWW^\top\|^2=\|X\|^2-\|XWW^\top\|^2=\mathrm{const}-\mathrm{tr}(WW^\top X^\top XWW^\top)\\=\mathrm{const}-\mathrm{const}\cdot\mathrm{tr}(W^\top\Sigma W),$

Σ

$\Sigma$

X

$X$

Σ = X^{⊤} X / (n - 1)

$\Sigma=X^\top X/(n-1)$ . Điều này có nghĩa là lỗi tái cấu trúc được giảm thiểu bằng cách lấy các cột của một số vectơ trực giao tối đa hóa tổng phương sai của hình chiếu.

W

$W$

k

$k$

Người ta biết rằng đây là những hàm riêng đầu tiên của ma trận hiệp phương sai. Thật vậy, nếu , thì . Viết cũng có các cột trực giao, chúng tôi nhận được với mức tối đa đạt được khi . Định lý sau đó ngay lập tức. $k$ $X=USV^\top$ $\Sigma=VS^2V^\top/(n-1)=V\Lambda V^\top$ $R=V^\top W$

t r (W^{⊤} Σ W) = = t r (R^{⊤} Λ R) = = \underset{tôi}{Σ} λ_{tôi} \underset{j}{Σ} R_{tôi j}^{2} \leq Σ_{tôi = = 1}^{k} λ_{k},

$\mathrm{tr}(W^\top\Sigma W)=\mathrm{tr}(R^\top\Lambda R)=\sum_i \lambda_i \sum_j R_{ij}^2 \le \sum_{i=1}^k \lambda_k,$

W = V_{k}

$W=V_k$

Xem ba chủ đề liên quan sau đây:

Nỗ lực trước đây của một bằng chứng cho định mức Frobenius

Bằng chứng này tôi tìm thấy ở đâu đó trực tuyến nhưng nó sai (chứa một khoảng trống), như được giải thích bởi @cardinal trong các bình luận.

Định mức Frobenius là bất biến dưới các phép biến đổi đơn vị, bởi vì chúng không thay đổi các giá trị số ít. Vậy ta nhận được: trong đó . Tiếp tục:Điều này được giảm thiểu khi tất cả các phần tử nằm ngoài đường chéo của bằng 0 và tất cả các điều khoản đường chéo hủy bỏ các giá trị số ít lớn nhất [khoảng cách ở đây: điều này không rõ ràng] , tức là và do đó .

‖ X - Một ‖_{F} = = ‖ Bạn S V^{⊤} - Một ‖ = = ‖ S - {Bạn}^{⊤} Một V ‖ = = ‖ S - B ‖,

$\|X-A\|_F=\|USV^\top - A\| = \|S - U^\top A V\| = \|S-B\|,$

B = U^{⊤} A V

$B=U^\top A V$

‖ X - Một ‖_{F} = = \underset{tôi j}{Σ} (S_{tôi j} - B_{tôi j})^{2} = = \underset{tôi}{Σ} (S_{tôi} - B_{tôi tôi})^{2} + \underset{tôi \neq j}{Σ} B_{tôi j}^{2} .

$\|X-A\|_F = \sum_{ij}(S_{ij}-B_{ij})^2 = \sum_i (s_i-B_{ii})^2 + \sum_{i\ne j}B_{ij}^2.$

B

$B$

k

$k$

k

$k$

s_{i}

$s_i$

B_{o p t i m a l} = S_{k}

$B_\mathrm{optimal}=S_k$

A_{o p t i m a l} = U_{k} S_{k} V_{k}^{⊤}

$A_\mathrm{optimal} = U_k S_k V_k^\top$

— amip nói phục hồi Monica
nguồn

Bằng chứng trong trường hợp định mức Frobeniius là không chính xác (hoặc ít nhất là hoàn chỉnh) vì lập luận ở đây không loại trừ khả năng một ma trận có cùng thứ hạng có thể loại bỏ một số thuật ngữ đường chéo khác trong khi có "nhỏ" đường chéo. Để thấy khoảng cách rõ ràng hơn, lưu ý rằng việc giữ các đường chéo không đổi và "zeroing" các đường chéo thường có thể tăng thứ hạng của ma trận trong câu hỏi!

— hồng y

Cũng lưu ý rằng SVD đã được biết đến với Beltrami (ít nhất là trong một trường hợp khá chung, mặc dù trường hợp đặc biệt) và Jordan sớm nhất là vào năm 1874.

— hồng y

@cardinal: Hmmmm, tôi không chắc là tôi thấy khoảng trống. Nếu hủy bỏ một số thuật ngữ đường chéo khác trong thay vì lớn nhất và có một số thuật ngữ khác không thay thế, thì cả hai tổng, và , sẽ tăng lên. Vì vậy, nó sẽ chỉ làm tăng lỗi tái thiết. Không? Tuy nhiên, tôi đã cố gắng tìm một bằng chứng khác cho định mức Frobenius trong tài liệu, và đã đọc rằng nó nên bằng cách nào đó dễ dàng tuân theo trường hợp định mức toán tử. Nhưng cho đến nay tôi không thấy nó nên theo dõi như thế nào ...

B

$B$

S

$S$

k

$k$

\sum_{i} (s_{i} - B_{i i})^{2}

$\sum_{i}(s_i-B_{ii})^2$

\sum_{i \neq j} B_{i j}^{2}

$\sum_{i\ne j}B_{ij}^2$

— amip nói rằng Rebstate Monica

Tôi làm như GW Stewart (1993), Trên lịch sử đầu tiên của quá trình phân hủy giá trị độc nhất vô nhị SIAM xét , vol. 35, không 4, 551-566 và, trước sự quan tâm đã được chứng minh trước đó của bạn về các vấn đề lịch sử, tôi nghĩ bạn cũng sẽ như vậy. Thật không may, tôi nghĩ rằng Stewart đã vô tình gạt bỏ quá mức sự thanh lịch của bằng chứng năm 1907 của Schmidt. Ẩn bên trong nó là một diễn giải hồi quy mà Stewart bỏ qua và nó thực sự khá đẹp. Có một bằng chứng khác theo cách tiếp cận đường chéo ban đầu mà bạn thực hiện, nhưng đòi hỏi một số công việc bổ sung để lấp đầy khoảng trống. (tt)

— hồng y

@cardinal: Vâng, bạn nói đúng, giờ tôi cũng thấy khoảng trống. Cảm ơn rất nhiều cho bài báo Stewart, đó là một bài đọc rất thú vị. Tôi thấy rằng Stewart đưa ra bằng chứng của Schmidt và Weyl, nhưng cả hai đều trông phức tạp hơn những gì tôi muốn sao chép ở đây (và cho đến nay tôi không có thời gian để nghiên cứu chúng một cách cẩn thận). Tôi ngạc nhiên: Tôi mong đợi đây là một kết quả rất đơn giản, nhưng có vẻ như nó ít tầm thường hơn tôi nghĩ. Cụ thể, tôi không ngờ rằng trường hợp Frobenius lại phức tạp hơn nhiều so với quy tắc vận hành. Tôi sẽ chỉnh sửa bài viết bây giờ. Chúc mừng năm mới!

— amip nói rằng Phục hồi lại

Định mức nào của lỗi tái cấu trúc được giảm thiểu bằng ma trận xấp xỉ bậc thấp thu được với PCA?

Câu trả lời duy nhất: Cả hai.

Bằng chứng cho toán tử -norm222

Bằng chứng cho định mức Frobenius

Nỗ lực trước đây của một bằng chứng cho định mức Frobenius

Bằng chứng cho toán tử -norm $2$