Tại sao các eigenvector PCA trực giao và mối quan hệ với điểm số PCA là không tương quan?

Tôi đang đọc trên PCA, và tôi hiểu hầu hết những gì đang diễn ra về mặt phái sinh ngoài giả định rằng người bản địa cần phải trực giao và làm thế nào nó liên quan đến các dự đoán (điểm PCA) không được thông báo? Tôi có hai cách giải thích được cung cấp dưới đây sử dụng một liên kết giữa tính trực giao và tương quan nhưng không thực sự giải thích nó: MỘT , HAI .

Trong bức ảnh thứ hai, nó nói rằng điều kiện được áp đặt để đảm bảo rằng phép chiếu sẽ không tương thích với . Ai đó có thể cung cấp một ví dụ để chỉ ra lý do tại sao các vectơ trực giao đảm bảo các biến không tương quan?$a_{2}^{T}a_{1}=0$$y_{2}=Xa_2$$y_{1}=Xa_1$

Điều gì sẽ xảy ra trong PCA nếu tôi chọn các vectơ không trực giao; điều này thậm chí có thể? Tôi đã đọc ở nơi khác rằng tính trực giao chỉ là sản phẩm phụ của ma trận hiệp phương sai đối xứng, điều đó cho thấy rằng không thể có các hàm sinh riêng trực giao không theo cặp. Tuy nhiên, trong bức tranh đầu tiên trong tìm kiếm của ma trận nhất 'phù hợp' nó gần như có vẻ như chúng ta đang lựa chọn là trực giao để cung cấp cho chúng ta một ma trận thuận tiện hơn một trong đó có tính chất tốt đẹp.$p_{1},\ldots,p_{m}$$\textbf{P}$

Tôi đã đọc các bài viết khác về chủ đề này nhưng không hài lòng với việc kết hợp trực giác với các biến không tương quan. Tôi thực sự đánh giá cao bất kỳ sự giúp đỡ trong việc hiểu sự nhầm lẫn này !!

Tôi sẽ cố gắng để giải thích cách thức trực giao của và Đảm bảo rằng và được không tương quan. Chúng tôi muốn để tối đa hóa . Điều này sẽ không đạt được trừ khi chúng ta giới hạn , trong trường hợp này là . Tối ưu hóa này yêu cầu sử dụng Hệ số nhân Lagrange (không quá phức tạp, hãy đọc về nó trên Wikipedia). Do đó, chúng tôi cố gắng tối đa hóa đối với cả và . Lưu ý rằng sự khác biệt đối với$a_1$$a_2$$y_1$$y_2$$a_1$$Var(y_1)=a_1^T \Sigma a_1$$a_1$$a_1^T a_1=1$

$$\begin{equation} a_1^T \Sigma a_1 - \lambda(a_1^T a_1-1) \end{equation}$$ $a_1$$\lambda$$\lambda$và sau đó tương đương với đưa ra ràng buộc của chúng tôi . Sự khác biệt đối với mang lại cho hoặc phương sai của sẽ được tối đa hóa bởi giá trị riêng lớn nhất . Do đó . Đây là phần sẽ trả lời câu hỏi của bạn . Một số tính toán cơ bản sử dụng định nghĩa hiệp phương sai sẽ cho thấy $0$$a_1^T a_1=1$$a_1$ $$\begin{equation} \Sigma a_1 -\lambda a_1 =0 \end{equation}$$ $$\begin{equation} (\Sigma -\lambda I_p)a_1=0 \end{equation}$$ $y_1$$\lambda_1$$\lambda_1 a_1=\Sigma a_1$ $$\begin{equation} Cov(y_1,y_2)=Cov(a^T_1 x,a^T_2 x)=a^T_1\Sigma a_2=a^T_2\Sigma a_1=a^T_2\lambda_1 a_1=\lambda_1 a^T_2 a_1 \end{equation}$$ sẽ bằng khi và chỉ khi .$0$$a^T_2 a_1=0$

PCA hoạt động bằng cách tính toán các hàm riêng của ma trận hiệp phương sai của dữ liệu. Nghĩa là, các hàm riêng đó tương ứng với các lựa chọn của nhằm tối đa hóa các phương trình và đáp ứng các ràng buộc được đưa ra trong cuốn sách của bạn. Nếu bạn chọn các vectơ khác nhau, chúng sẽ không phù hợp với tất cả các tiêu chí đó và nó sẽ không còn là PCA nữa (bạn vẫn sẽ tìm thấy một số "thành phần" nhưng chúng sẽ không còn là "hiệu trưởng").$a_{1:M}$

Eigenvector có thể được tính toán từ bất kỳ ma trận vuông nào và không phải trực giao. Tuy nhiên, vì bất kỳ ma trận hiệp phương sai thích hợp nào cũng là đối xứng và ma trận đối xứng có các hàm riêng trực giao, PCA luôn dẫn đến các thành phần trực giao.

Tính trực giao của và không tuân theo yêu cầu - nó tuân theo tất cả các ràng buộc cùng nhau. Thật dễ dàng để xem lý do tại sao trực giao của và là không đủ, bởi vì nền tảng ban đầu trong đó các dữ liệu được thể hiện cũng là trực giao. Ví dụ: ở 2 chiều, bạn sẽ có và và rõ ràng dữ liệu của bạn không phải không tương thích với các kích thước đó (nếu có, PCA của bạn sẽ trả về cơ sở ban đầu, cho đến một hệ số tỷ lệ).$y_1$$y_2$$a_1^Ta_2=0$$a_1$$a_2$$\mathbf{b}$$b_1=\begin{bmatrix}1\\ 0 \end{bmatrix}$$b_2=\begin{bmatrix}0\\ 1 \end{bmatrix}$

Văn bản được diễn đạt một chút vụng về, nhưng tôi nghĩ "cái" trong "đảm bảo ..." đề cập đến toàn bộ mệnh đề đi trước.