Liệu dấu hiệu của điểm số hoặc tải trong PCA hoặc FA có ý nghĩa? Tôi có thể đảo ngược các dấu hiệu?

Tôi đã thực hiện phân tích thành phần chính (PCA) với R bằng hai hàm khác nhau ( prcompvà princomp) và nhận thấy rằng điểm PCA khác nhau về dấu hiệu. Làm thế nào nó có thể được?

Xem xét điều này:

set.seed(999)
prcomp(data.frame(1:10,rnorm(10)))$x

            PC1        PC2
 [1,] -4.508620 -0.2567655
 [2,] -3.373772 -1.1369417
 [3,] -2.679669  1.0903445
 [4,] -1.615837  0.7108631
 [5,] -0.548879  0.3093389
 [6,]  0.481756  0.1639112
 [7,]  1.656178 -0.9952875
 [8,]  2.560345 -0.2490548
 [9,]  3.508442  0.1874520
[10,]  4.520055  0.1761397

set.seed(999)
princomp(data.frame(1:10,rnorm(10)))$scores
         Comp.1     Comp.2
 [1,]  4.508620  0.2567655
 [2,]  3.373772  1.1369417
 [3,]  2.679669 -1.0903445
 [4,]  1.615837 -0.7108631
 [5,]  0.548879 -0.3093389
 [6,] -0.481756 -0.1639112
 [7,] -1.656178  0.9952875
 [8,] -2.560345  0.2490548
 [9,] -3.508442 -0.1874520
[10,] -4.520055 -0.1761397

Tại sao các dấu hiệu ( +/-) khác nhau cho hai phân tích? Nếu sau đó tôi đang sử dụng các thành phần chính PC1và PC2như các yếu tố dự báo trong hồi quy, nghĩa là lm(y ~ PC1 + PC2), điều này sẽ thay đổi hoàn toàn sự hiểu biết của tôi về tác động của hai biến yphụ thuộc vào phương pháp tôi đã sử dụng! Làm thế nào tôi có thể nói rằng PC1có ảnh hưởng tích cực đến yvà PC2có ảnh hưởng tiêu cực đến y?

Ngoài ra: Nếu dấu hiệu của các thành phần PCA là vô nghĩa, điều này có đúng với phân tích nhân tố (FA) không? Có thể chấp nhận lật (đảo ngược) dấu hiệu của điểm thành phần PCA / FA riêng lẻ (hoặc của tải, như một cột của ma trận tải) không?

PCA là một phép biến đổi toán học đơn giản. Nếu bạn thay đổi các dấu hiệu của (các) thành phần, bạn không thay đổi phương sai được chứa trong thành phần đầu tiên. Hơn nữa, khi bạn thay đổi các dấu hiệu, các trọng số ( prcomp( ... )$rotation) cũng thay đổi dấu hiệu, do đó, việc diễn giải vẫn giống hệt nhau:

set.seed( 999 )
a <- data.frame(1:10,rnorm(10))
pca1 <- prcomp( a )
pca2 <- princomp( a )
pca1$rotation

trình diễn

                 PC1       PC2
X1.10      0.9900908 0.1404287
rnorm.10. -0.1404287 0.9900908

và pca2$loadingshiển thị

Loadings:
          Comp.1 Comp.2
X1.10     -0.99  -0.14 
rnorm.10.  0.14  -0.99 

               Comp.1 Comp.2
SS loadings       1.0    1.0
Proportion Var    0.5    0.5
Cumulative Var    0.5    1.0

Vì vậy, tại sao các giải thích vẫn giữ nguyên?

Bạn thực hiện hồi quy PCA của ythành phần 1. Trong phiên bản đầu tiên ( prcomp), giả sử hệ số là dương: thành phần 1 càng lớn, y càng lớn. Nó có nghĩa gì khi nói đến các biến ban đầu? Vì trọng số của biến 1 ( 1:10trong a) là dương, điều đó cho thấy biến 1 càng lớn thì y càng lớn.

Bây giờ sử dụng phiên bản thứ hai ( princomp). Vì thành phần có dấu thay đổi, y càng lớn, thành phần 1 càng nhỏ - hệ số của y <trên PC1 bây giờ là âm. Nhưng tải của biến 1 cũng vậy; điều đó có nghĩa là, biến số 1 càng lớn, thành phần 1 càng nhỏ thì y càng lớn - diễn giải là như nhau.

Có thể, cách dễ nhất để thấy điều đó là sử dụng biplot.

library( pca3d )
pca2d( pca1, biplot= TRUE, shape= 19, col= "black"  )

trình diễn

Biplot tương tự cho các biến thể thứ hai cho thấy

pca2d( pca2$scores, biplot= pca2$loadings[,], shape= 19, col= "black" )

Như bạn thấy, hình ảnh được xoay 180 °. Tuy nhiên, mối quan hệ giữa trọng lượng / tải trọng (mũi tên đỏ) và các điểm dữ liệu (các chấm đen) là hoàn toàn giống nhau; do đó, việc giải thích các thành phần là không thay đổi.

Câu hỏi này được hỏi rất nhiều trên diễn đàn này, vì vậy tôi muốn bổ sung @ câu trả lời xuất sắc vào tháng Giêng với cân nhắc chung hơn một chút.

$x_1, x_2, ... x_d$$z_1, z_2, ... z_k$$x_1$$z_1$$z_2$$x_1 \approx 2z_1 + 3z_2$$2$$3$

$z_1$

Kết luận là đối với mỗi thành phần PCA hoặc FA, dấu hiệu của điểm số và mức tải của nó là tùy ý và vô nghĩa. Nó có thể được lật, nhưng chỉ khi dấu hiệu của cả điểm số và tải được đảo ngược cùng một lúc.

$180^\circ$