PCA về tương quan hoặc hiệp phương sai: PCA về tương quan có bao giờ có ý nghĩa không? [đóng cửa]

Trong phân tích thành phần chính (PCA), người ta có thể chọn ma trận hiệp phương sai hoặc ma trận tương quan để tìm các thành phần (từ các hàm riêng tương ứng của chúng). Chúng cho kết quả khác nhau (tải PC và điểm số), bởi vì các hàm riêng giữa cả hai ma trận không bằng nhau. Tôi hiểu rằng điều này được gây ra bởi thực tế là một vectơ dữ liệu thô và tiêu chuẩn hóa của nó không thể liên quan thông qua một phép biến đổi trực giao. Về mặt toán học, các ma trận tương tự (nghĩa là liên quan bằng phép biến đổi trực giao) có cùng giá trị riêng, nhưng không nhất thiết phải là cùng một hàm riêng.$X$$Z$

Điều này đặt ra một số khó khăn trong tâm trí của tôi:

1. PCA có thực sự có ý nghĩa không, nếu bạn có thể nhận được hai câu trả lời khác nhau cho cùng một tập dữ liệu bắt đầu, cả hai đều cố gắng đạt được cùng một điều (= tìm hướng của phương sai tối đa)?

2. Khi sử dụng phương pháp tiếp cận ma trận tương quan, mỗi biến đang được chuẩn hóa (chia tỷ lệ) theo độ lệch chuẩn riêng của nó, trước khi tính toán các PC. Vậy thì, làm thế nào vẫn hợp lý khi tìm hướng của phương sai tối đa nếu dữ liệu đã được thu nhỏ / nén khác nhau trước đó? Tôi biết rằng PCA dựa trên tương quan rất thuận tiện (các biến được tiêu chuẩn hóa là không thứ nguyên, vì vậy các kết hợp tuyến tính của chúng có thể được thêm vào; các ưu điểm khác cũng dựa trên chủ nghĩa thực dụng), nhưng liệu có đúng không?

Đối với tôi, dường như PCA dựa trên hiệp phương sai là duy nhất đúng (ngay cả khi phương sai của các biến khác nhau rất lớn) và bất cứ khi nào phiên bản này không thể được sử dụng, PCA dựa trên tương quan cũng không nên được sử dụng.

Tôi biết rằng có chủ đề này: PCA về tương quan hoặc hiệp phương sai? - nhưng dường như chỉ tập trung vào việc tìm kiếm một giải pháp thực dụng, có thể hoặc không phải là một giải pháp đại số chính xác.

Tôi hy vọng những câu trả lời cho hai câu hỏi của bạn sẽ làm dịu mối quan tâm của bạn:

1. Một ma trận tương quan là một ma trận hiệp phương sai của dữ liệu được tiêu chuẩn hóa (nghĩa là không chỉ tập trung mà còn được định cỡ lại); đó là, một ma trận hiệp phương sai (như thể) của một tập dữ liệu khác, khác. Vì vậy, đó là điều tự nhiên và không nên làm phiền bạn rằng kết quả khác nhau.
2. Vâng, thật hợp lý khi tìm các hướng của phương sai tối đa với dữ liệu được tiêu chuẩn hóa - chúng là các hướng của - có thể nói - "tương quan", chứ không phải "hiệp biến"; nghĩa là, sau khi ảnh hưởng của phương sai không bằng nhau - của các biến ban đầu - lên hình dạng của đám mây dữ liệu đa biến đã bị loại bỏ.

Văn bản và hình ảnh tiếp theo được thêm bởi @whuber (Tôi cảm ơn anh ấy. Ngoài ra, hãy xem nhận xét của tôi bên dưới)

Dưới đây là một ví dụ hai chiều cho thấy lý do tại sao nó vẫn có ý nghĩa để xác định vị trí các trục chính của dữ liệu được tiêu chuẩn hóa (hiển thị bên phải). Lưu ý rằng trong biểu đồ bên tay phải, đám mây vẫn có "hình dạng" mặc dù các phương sai dọc theo trục tọa độ bây giờ chính xác bằng (bằng 1). Tương tự, ở các kích thước cao hơn, đám mây điểm được tiêu chuẩn hóa sẽ có hình dạng không phải hình cầu mặc dù các phương sai dọc theo tất cả các trục chính xác bằng nhau (bằng 1,0). Các trục chính (với giá trị riêng tương ứng của chúng) mô tả hình dạng đó. Một cách khác để hiểu điều này là lưu ý rằng tất cả việc thay đổi kích thước và dịch chuyển diễn ra khi tiêu chuẩn hóa các biến chỉ xảy ra theo hướng của trục tọa độ chứ không phải theo hướng chính.

Những gì đang xảy ra ở đây về mặt hình học rất trực quan và rõ ràng đến nỗi nó sẽ là một sự kéo dài để mô tả điều này như là một "hoạt động hộp đen": ngược lại, tiêu chuẩn hóa và PCA là một số điều cơ bản và thường xuyên nhất mà chúng ta làm với dữ liệu theo thứ tự để hiểu họ

Tiếp tục bởi @ttnphns

Khi nào thì người ta thích làm PCA (hoặc phân tích nhân tố hoặc loại phân tích tương tự khác) về các mối tương quan (tức là trên các biến được chuẩn hóa z) thay vì thực hiện trên hiệp phương sai (tức là trên các biến trung tâm)?

1. Khi các biến là các đơn vị đo lường khác nhau. Điều đó rõ ràng.
2. Khi một người muốn phân tích phản ánh chỉ và các hiệp hội tuyến tính . Pearson r không chỉ là hiệp phương sai giữa các biến không được tính (variance = 1); nó đột nhiên là thước đo sức mạnh của mối quan hệ tuyến tính, trong khi hệ số hiệp phương sai thông thường có thể chấp nhận cả mối quan hệ tuyến tính và đơn điệu.
3. Khi người ta muốn các hiệp hội phản ánh độ lệch tương đối (từ giá trị trung bình) chứ không phải độ lệch đồng nguyên. Mối tương quan dựa trên sự phân phối, mức chênh lệch của chúng, trong khi hiệp phương sai dựa trên thang đo ban đầu. Nếu tôi phân tích các yếu tố tâm lý của bệnh nhân như được bác sĩ tâm thần khẳng định 'trên một số câu hỏi lâm sàng bao gồm các vật phẩm loại Likert, tôi thích hiệp phương sai hơn. Bởi vì các chuyên gia dự kiến ​​sẽ không làm biến dạng thang đánh giá trong cơ thể. Mặt khác, nếu tôi phân tích sự tự khắc của bệnh nhân bằng chính câu hỏi đó thì có lẽ tôi sẽ chọn mối tương quan. Bởi vì đánh giá của giáo dân được dự kiến ​​là tương đối "người khác", "đa số" "độ lệch cho phép" loupe "thu nhỏ" hoặc "kéo dài" thang đánh giá cho một.

Phát biểu từ quan điểm thực tế - có thể không phổ biến ở đây - nếu bạn có dữ liệu được đo trên các thang đo khác nhau, thì hãy đi theo tương quan ('Thang đo UV' nếu bạn là nhà hóa học), nhưng nếu các biến số có cùng thang đo và kích thước của chúng thì có vấn đề (ví dụ với dữ liệu phổ), sau đó hiệp phương sai (chỉ tập trung vào dữ liệu) có ý nghĩa hơn. PCA là một phương pháp phụ thuộc vào quy mô và chuyển đổi nhật ký cũng có thể giúp với dữ liệu bị sai lệch cao.

Theo ý kiến ​​khiêm tốn của tôi dựa trên 20 năm áp dụng thực tế của hóa học, bạn phải thử nghiệm một chút và xem cái gì hoạt động tốt nhất cho loại dữ liệu của bạn. Vào cuối ngày, bạn cần có khả năng tái tạo kết quả của mình và cố gắng chứng minh khả năng dự đoán kết luận của bạn. Làm thế nào bạn nhận được thường có một trường hợp thử nghiệm và lỗi, nhưng điều quan trọng là những gì bạn làm là tài liệu và tái sản xuất.

$x_i$$s^2$$(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$$x_1+x_2$$s_1\not =s_2$độ. Dường như có rất ít điểm để tối đa hóa phương sai của sự kết hợp tuyến tính của chúng. Trong trường hợp đó, PCA đưa ra giải pháp cho một tập hợp dữ liệu khác nhau, theo đó mỗi biến được chia tỷ lệ khác nhau. Nếu sau đó bạn không chuẩn hóa (khi sử dụng Corr_PCA) thì điều đó có thể ổn và cần thiết; nhưng nếu bạn chỉ sử dụng giải pháp Corr_PCA thô như hiện tại và dừng ở đó, bạn sẽ có được một giải pháp toán học, nhưng không phải là một giải pháp liên quan đến dữ liệu vật lý. Do việc không đạt tiêu chuẩn sau đó dường như là bắt buộc ở mức tối thiểu (nghĩa là "không kéo dài" các trục bởi độ lệch chuẩn nghịch đảo), cov_PCA có thể đã được sử dụng để bắt đầu. Nếu bạn vẫn đang đọc cho đến bây giờ, tôi rất ấn tượng! Bây giờ, tôi kết thúc bằng cách trích dẫn từ cuốn sách của Jolliffe, p. 42, đó là phần liên quan đến tôi:'Tuy nhiên, không được quên rằng PC ma trận tương quan, khi được biểu thị lại theo các biến ban đầu, vẫn là các hàm tuyến tính của x tối đa hóa phương sai đối với các biến được tiêu chuẩn hóa và không liên quan đến các biến ban đầu.' Nếu bạn nghĩ rằng tôi đang giải thích điều này hoặc ý nghĩa của nó sai, đoạn trích này có thể là một điểm tập trung tốt để thảo luận thêm.