Một lời giải thích trực quan cho cách PCA chuyển từ một vấn đề hình học (với khoảng cách) sang một vấn đề đại số tuyến tính (với các hàm riêng)?

Tôi đã đọc rất nhiều về PCA, bao gồm các hướng dẫn và câu hỏi khác nhau (chẳng hạn như cái này , cái này , cái này và cái này ).

Vấn đề hình học mà PCA đang cố gắng tối ưu hóa là rõ ràng đối với tôi: PCA cố gắng tìm thành phần chính đầu tiên bằng cách giảm thiểu lỗi tái tạo (phép chiếu), đồng thời tối đa hóa phương sai của dữ liệu dự kiến.

Khi tôi lần đầu tiên đọc nó, tôi nghĩ ngay đến một thứ như hồi quy tuyến tính; có lẽ bạn có thể giải quyết nó bằng cách sử dụng độ dốc gốc nếu cần.

Tuy nhiên, sau đó tâm trí của tôi đã bị thổi phồng khi tôi đọc rằng vấn đề tối ưu hóa được giải quyết bằng cách sử dụng đại số tuyến tính và tìm ra các hàm riêng và giá trị riêng. Tôi chỉ đơn giản là không hiểu làm thế nào việc sử dụng đại số tuyến tính này phát huy tác dụng.

Vì vậy, câu hỏi của tôi là: Làm thế nào PCA có thể chuyển từ một vấn đề tối ưu hóa hình học sang một vấn đề đại số tuyến tính? Ai đó có thể cung cấp một lời giải thích trực quan?

Tôi không tìm kiếm một câu trả lời như thế này mà nói rằng "Khi bạn giải quyết vấn đề toán học của PCA, cuối cùng nó tương đương với việc tìm ra giá trị riêng và hàm riêng của ma trận hiệp phương sai." Vui lòng giải thích lý do tại sao các hàm riêng xuất hiện thành các thành phần chính và tại sao các giá trị riêng xuất hiện không đúng với dữ liệu được chiếu lên chúng

Tôi là một kỹ sư phần mềm và không phải là một nhà toán học.

Lưu ý: hình trên đã được lấy và sửa đổi từ hướng dẫn PCA này .

Báo cáo vấn đề

Vấn đề hình học mà PCA đang cố gắng tối ưu hóa là rõ ràng đối với tôi: PCA cố gắng tìm thành phần chính đầu tiên bằng cách giảm thiểu lỗi tái tạo (phép chiếu), đồng thời tối đa hóa phương sai của dữ liệu dự kiến.

Đúng rồi. Tôi giải thích mối liên hệ giữa hai công thức này trong câu trả lời của tôi ở đây (không có toán học) hoặc ở đây (với toán học).

Chúng ta hãy thực hiện công thức thứ hai: PCA đang thử tìm hướng sao cho hình chiếu của dữ liệu trên đó có phương sai cao nhất có thể. Hướng này, theo định nghĩa, được gọi là hướng chính đầu tiên. Chúng ta có thể chính thức hóa nó như sau: đưa ra ma trận hiệp phương sai , chúng ta đang tìm một vectơ có độ dài đơn vị, , sao cho là tối đa.$\mathbf C$$\mathbf w$$\|\mathbf w\|=1$$\mathbf w^\top \mathbf{Cw}$

(Chỉ trong trường hợp này không rõ ràng: nếu là ma trận dữ liệu trung tâm, thì phép chiếu được đưa ra bởi và phương sai của nó là .)$\mathbf X$$\mathbf{Xw}$$\frac{1}{n-1}(\mathbf{Xw})^\top \cdot \mathbf{Xw} = \mathbf w^\top\cdot (\frac{1}{n-1}\mathbf X^\top\mathbf X)\cdot \mathbf w = \mathbf w^\top \mathbf{Cw}$

Mặt khác , theo định nghĩa , một hàm riêng của , theo định nghĩa, bất kỳ vectơ sao cho .$\mathbf C$$\mathbf v$$\mathbf{Cv}=\lambda \mathbf v$

Nó chỉ ra rằng hướng chính đầu tiên được đưa ra bởi eigenvector với giá trị riêng lớn nhất. Đây là một tuyên bố không cần thiết và đáng ngạc nhiên.

Bằng chứng

Nếu một người mở bất kỳ cuốn sách hoặc hướng dẫn nào về PCA, người ta có thể tìm thấy ở đó bằng chứng gần như một dòng của tuyên bố trên. Chúng tôi muốn tối đa hóa dưới sự ràng buộc mà ; điều này có thể được thực hiện khi giới thiệu hệ số nhân Lagrange và tối đa hóa ; khác biệt, chúng ta thu được , đây là phương trình eigenvector. Chúng tôi thấy rằng trên thực tế là giá trị riêng lớn nhất bằng cách thay thế giải pháp này thành hàm mục tiêu, mang lại$\mathbf w^\top \mathbf{Cw}$$\|\mathbf w\|=\mathbf w^\top \mathbf w=1$$\mathbf w^\top \mathbf{Cw}-\lambda(\mathbf w^\top \mathbf w-1)$$\mathbf{Cw}-\lambda\mathbf w=0$$\lambda$$\mathbf w^\top \mathbf{Cw}-\lambda(\mathbf w^\top \mathbf w-1) = \mathbf w^\top \mathbf{Cw} = \lambda\mathbf w^\top \mathbf{w} = \lambda$ . Nhờ thực tế rằng chức năng mục tiêu này phải được tối đa hóa, phải là giá trị riêng lớn nhất, QED.$\lambda$

Điều này có xu hướng không trực quan cho hầu hết mọi người.

Một bằng chứng tốt hơn (xem ví dụ câu trả lời gọn gàng này của @cardinal ) nói rằng vì là ma trận đối xứng, nên nó là đường chéo trong cơ sở eigenvector của nó. (Đây thực sự được gọi là định lý phổ .) Vì vậy, chúng ta có thể chọn một cơ sở trực giao, cụ thể là cơ sở được đưa ra bởi các hàm riêng, trong đó là đường chéo và có eigenvalues trên đường chéo. Trong cơ sở đó, đơn giản hóa thành hoặc nói cách khác, phương sai được tính bằng tổng trọng số của các giá trị riêng. Gần như ngay lập tức rằng để tối đa hóa biểu thức này, chỉ cần lấy$\mathbf C$$\mathbf C$$\lambda_i$$\mathbf w^\top \mathbf{C w}$$\sum \lambda_i w_i^2$$\mathbf w = (1,0,0,\ldots, 0)$, tức là trình xác định đầu tiên, mang lại phương sai (thực sự, lệch khỏi giải pháp này và "giao dịch" các phần của giá trị riêng lớn nhất cho các phần của phần nhỏ hơn sẽ chỉ dẫn đến phương sai tổng thể nhỏ hơn). Lưu ý rằng giá trị của không phụ thuộc vào cơ sở! Thay đổi thành cơ sở eigenvector thành một phép quay, vì vậy trong 2D, người ta có thể tưởng tượng chỉ cần xoay một mảnh giấy với biểu đồ phân tán; rõ ràng điều này không thể thay đổi bất kỳ phương sai.$\lambda_1$$\mathbf w^\top \mathbf{C w}$

Tôi nghĩ rằng đây là một lập luận rất trực quan và rất hữu ích, nhưng nó dựa trên định lý phổ. Vì vậy, vấn đề thực sự ở đây tôi nghĩ là: trực giác đằng sau định lý phổ là gì?

Định lý phổ

Hãy đối xứng ma trận . Lấy eigenvector với giá trị riêng lớn nhất . Làm cho hàm riêng này trở thành vectơ cơ sở đầu tiên và chọn ngẫu nhiên các vectơ cơ sở khác (sao cho tất cả chúng là trực giao). sẽ trông như thế nào trong cơ sở này?$\mathbf C$$\mathbf w_1$$\lambda_1$$\mathbf C$

Nó sẽ có ở góc trên bên trái, bởi vì trong cơ sở này và phải bằng .$\lambda_1$$\mathbf w_1=(1,0,0\ldots 0)$$\mathbf {Cw}_1=(C_{11}, C_{21}, \ldots C_{p1})$$\lambda_1\mathbf w_1 = (\lambda_1,0,0 \ldots 0)$

Với cùng một đối số, nó sẽ có các số 0 trong cột đầu tiên bên dưới .$\lambda_1$

Nhưng vì nó là đối xứng, nó cũng sẽ có các số 0 ở hàng đầu tiên sau . Vì vậy, nó sẽ trông như thế:$\lambda_1$

trong đó không gian trống có nghĩa là có một khối các yếu tố ở đó. Vì ma trận đối xứng nên khối này cũng sẽ đối xứng. Vì vậy, chúng ta có thể áp dụng chính xác cùng một đối số cho nó, sử dụng hiệu quả hàm riêng thứ hai làm vectơ cơ sở thứ hai và nhận và trên đường chéo. Điều này có thể tiếp tục cho đến khi là đường chéo. Đó thực chất là định lý phổ. (Lưu ý cách nó hoạt động chỉ vì đối xứng.)$\lambda_1$$\lambda_2$$\mathbf C$$\mathbf C$

Đây là một cải cách trừu tượng hơn của chính xác cùng một lập luận.

Chúng tôi biết rằng , vì vậy, hàm riêng đầu tiên xác định không gian con 1 chiều trong đó hoạt động như một phép nhân vô hướng. Bây giờ chúng ta hãy đưa bất kỳ vectơ trực giao vào . Sau đó, gần như ngay lập tức rằng cũng trực giao với . Thật:$\mathbf{Cw}_1 = \lambda_1 \mathbf w_1$$\mathbf C$$\mathbf v$$\mathbf w_1$$\mathbf {Cv}$$\mathbf w_1$

Điều này có nghĩa là hoạt động trên toàn bộ không gian con trực giao còn lại với sao cho nó tách biệt với . Đây là tính chất quan trọng của ma trận đối xứng. Vì vậy, chúng ta có thể tìm thấy trình xác định lớn nhất ở đó, và tiến hành theo cách tương tự, cuối cùng xây dựng một cơ sở trực giao của trình xác định.$\mathbf C$$\mathbf w_1$$\mathbf w_1$$\mathbf w_2$

Có một kết quả từ năm 1936 bởi Eckart và Young ( https://ccrma.stanford.edu/~dattorro/eckart%26young.1936.pdf ), trong đó nêu rõ như sau

$\sum_1^r d_k u_k v_k^T = arg min_{\hat{X} \epsilon M(r)} ||X-\hat{X}||_F^2$

Trong đó M (r) là tập hợp các ma trận hạng r, về cơ bản có nghĩa là các thành phần r đầu tiên của SVD của X đưa ra xấp xỉ ma trận bậc thấp tốt nhất của X và tốt nhất được xác định theo tiêu chuẩn Frobenius bình phương - tổng bình phương các phần tử của một ma trận.

Đây là kết quả chung cho ma trận và thoạt nhìn không liên quan gì đến tập dữ liệu hoặc giảm kích thước.

Tuy nhiên, nếu bạn không nghĩ là ma trận mà chỉ nghĩ về các cột của ma trận đại diện cho vectơ của các điểm dữ liệu thì là xấp xỉ với sai số biểu diễn tối thiểu về sự khác biệt lỗi bình phương.$X$$X$$\hat{X}$

Đây là nhận định của tôi về đại số tuyến tính đằng sau PCA. Trong đại số tuyến tính, một trong những định lý chính là . Nó tuyên bố nếu S là bất kỳ n đối xứng n bởi n ma trận với các hệ số thực, thì S có n eigenvector với tất cả các giá trị riêng là thực. Điều đó có nghĩa là chúng ta có thể viết với D một ma trận đường chéo với các mục tích cực. Đó là và không có hại gì khi giả sử . A là sự thay đổi của ma trận cơ sở. Đó là, nếu cơ sở ban đầu của chúng tôi là , thì đối với cơ sở được đưa ra bởi$\textit{Spectral Theorem}$$S = ADA^{-1}$$D = \mbox{diag} (\lambda_1, \lambda_2, \ldots, \lambda_n)$$\lambda_1 \geq \lambda_2 \geq \ldots \geq \lambda_n$$x_1,x_2, \ldots, x_n$$A(x_1), A(x_2), \ldots A(x_n)$, hành động của S là đường chéo. Điều này cũng có nghĩa là có thể được coi là cơ sở trực giao với Nếu ma trận hiệp phương sai của chúng tôi là cho n quan sát của n biến, chúng tôi sẽ hoàn thành. Cơ sở được cung cấp bởi là cơ sở PCA. Điều này sau từ các sự kiện đại số tuyến tính. Về bản chất, điều này đúng bởi vì cơ sở PCA là cơ sở của các hàm riêng và có tối đa n hàm riêng của một ma trận vuông có kích thước n. Tất nhiên hầu hết các ma trận dữ liệu không phải là hình vuông. Nếu X là ma trận dữ liệu với n quan sát của các biến p, thì X có kích thước n theo p. Tôi sẽ giả sử rằng (quan sát nhiều hơn biến) và$A(x_i)$$||A(x_i)|| = \lambda_i$$A(x_i)$
$n>p$$rk(X) = p$(tất cả các biến là độc lập tuyến tính). Không giả định là cần thiết, nhưng nó sẽ giúp với trực giác. Đại số tuyến tính có một khái quát từ định lý phổ gọi là phân rã giá trị số ít. Đối với X như vậy, nó nói rằng với ma trận U, V trực giao (vuông) có kích thước n và p và một ma trận đường chéo thực chỉ có âm không âm các mục trên đường chéo. Một lần nữa chúng ta có thể sắp xếp lại cơ sở của V sao cho Theo thuật ngữ ma trận, điều này có nghĩa là nếu và nếu . Các$X = U \Sigma V^{t}$$\Sigma = (s_{ij})$$s_{11} \geq s_{22} \geq \ldots s_{pp}> 0$$X(v_i) = s_{ii} u_i$$i \leq p$i > n v i Σ V $s_{ii} = 0$$i> n$$v_i$đưa ra phân tách PCA. Chính xác hơn là phân tách PCA. Một lần nữa, đại số tuyến tính nói rằng chỉ có thể có p eigenvector. SVD đưa ra các biến mới (được cho bởi các cột của V) là trực giao và có định mức giảm. $\Sigma V^{t}$

"đồng thời tối đa hóa phương sai của dữ liệu dự kiến." Bạn đã nghe nói về thương số Rayleigh chưa? Có lẽ đó là một cách để thấy điều này. Cụ thể là thương số rayleigh của ma trận hiệp phương sai cung cấp cho bạn phương sai của dữ liệu được chiếu. (và trang wiki giải thích lý do tại sao người bản địa tối đa hóa thương số Rayleigh)

@amoeba cung cấp chính thức gọn gàng và bằng chứng về:

Chúng ta có thể chính thức hóa nó như sau: với ma trận hiệp phương sai C, chúng ta đang tìm một vectơ w có độ dài đơn vị, w‖ = 1, sao cho w ^T Cw là cực đại.

Nhưng tôi nghĩ có một bằng chứng trực quan để:

Nó chỉ ra rằng hướng chính đầu tiên được đưa ra bởi eigenvector với giá trị riêng lớn nhất. Đây là một tuyên bố không cần thiết và đáng ngạc nhiên.

Chúng ta có thể hiểu w ^T Cw là một sản phẩm chấm giữa vectơ w và Cw, có được bằng cách đi qua biến đổi C:

w ^T Cw = ‖w‖ * ‖Cw‖ * cos (w, Cw)

Vì w có chiều dài sửa chữa, để tối đa hóa w ^T Cw, chúng tôi cần:

1. tối đa hóa ‖Cw‖
2. tối đa hóa cos (w, Cw)

Hóa ra nếu chúng ta lấy w làm người phát minh của C với giá trị riêng lớn nhất, chúng ta có thể lưu trữ cả hai cùng một lúc:

1. Cw‖ là tối đa, (nếu w đi chệch khỏi hàm riêng này, hãy phân tách nó dọc theo các hàm riêng trực giao, bạn sẽ thấy giảm Cw‖.)
2. w và Cw cùng hướng, cos (w, Cw) = 1, max

Vì các hàm riêng là trực giao, cùng với các hàm riêng khác của C, chúng tạo thành một tập hợp các thành phần chính cho X.

bằng chứng của 1

phân rã w thành eigenvector sơ cấp và thứ cấp trực giao v1 và v2 , giả sử chiều dài của chúng lần lượt là v1 và v2. chúng tôi muốn chứng minh

( ₁ w) ² > ((λ ₁ v1) ² + (λ ₂ v2) ² )

kể từ λ ₁ > ₂ , chúng ta có

((λ ₁ v1) ² + (λ ₂ v2) ² )

<((λ ₁ v1) ² + ( ₁ v2) ² )

= (λ ₁ ) ² * (v1 ² + v2 ² )

= (λ ₁ ) ² * w ²