Bối rối về lời giải thích trực quan của người bản địa: làm thế nào các bộ dữ liệu khác nhau có thể có cùng một hàm riêng?

Rất nhiều sách giáo khoa thống kê cung cấp một minh họa trực quan về những gì các hàm riêng của ma trận hiệp phương sai là:

Các vectơ u và z tạo thành các hàm riêng (tốt, eigenaxes). Điều này thật ý nghĩa. Nhưng một điều làm tôi bối rối là chúng tôi trích xuất các hàm riêng từ ma trận tương quan chứ không phải dữ liệu thô. Hơn nữa, các bộ dữ liệu thô khá khác nhau có thể có ma trận tương quan giống hệt nhau. Ví dụ: cả hai đều có ma trận tương quan:

Như vậy, chúng có các hàm riêng chỉ theo cùng một hướng:

Nhưng nếu bạn áp dụng cùng một cách giải thích trực quan về hướng mà các hàm riêng trong dữ liệu thô, bạn sẽ nhận được các vectơ chỉ theo các hướng khác nhau.

Ai đó có thể vui lòng cho tôi biết tôi đã đi sai ở đâu?

Chỉnh sửa thứ hai : Nếu tôi có thể rất táo bạo, với những câu trả lời xuất sắc dưới đây, tôi có thể hiểu được sự nhầm lẫn và đã minh họa nó.

1. Giải thích trực quan phù hợp với thực tế là các hàm riêng được trích xuất từ ma trận hiệp phương sai là khác biệt.

   Hiệp phương sai và Eigenvector (Đỏ):

   $$\left[\begin{array}{} 1 & 1 \\ 1 & 1\end{array}\right] \left[\begin{array}{} .7 & -.72 \\ .72 & .7\end{array}\right]$$

   Hiệp phương sai và Eigenvector (màu xanh):

   $$\left[\begin{array}{} .25 & .5 \\ .5 & 1\end{array}\right] \left[\begin{array}{} .43 & -.9 \\ .9 & .43\end{array}\right]$$

2. Ma trận tương quan phản ánh ma trận hiệp phương sai của các biến được tiêu chuẩn hóa. Kiểm tra trực quan các biến được tiêu chuẩn hóa chứng minh tại sao các hàm riêng giống hệt nhau được trích xuất trong ví dụ của tôi:

Bạn không phải làm PCA qua ma trận tương quan; bạn cũng có thể phân tách ma trận hiệp phương sai. Lưu ý rằng những thứ này thường sẽ mang lại giải pháp khác nhau. (Để biết thêm về điều này, xem: PCA về tương quan hoặc hiệp phương sai? )

Trong hình thứ hai của bạn, các mối tương quan là như nhau, nhưng các nhóm trông khác nhau. Chúng trông khác nhau vì chúng có hiệp phương sai khác nhau. Tuy nhiên, phương sai cũng khác nhau (ví dụ: nhóm màu đỏ thay đổi trong phạm vi rộng hơn của X1) và mối tương quan là hiệp phương sai chia cho độ lệch chuẩn ( ). Kết quả là, các mối tương quan có thể giống nhau. ${\rm Cov}_{xy} / {\rm SD}_x{\rm SD}_y$

Một lần nữa, nếu bạn thực hiện PCA với các nhóm này bằng cách sử dụng ma trận hiệp phương sai, bạn sẽ nhận được kết quả khác so với khi bạn sử dụng ma trận tương quan.