Phân tích nhân tố giải thích hiệp phương sai trong khi PCA giải thích phương sai như thế nào?

Dưới đây là trích dẫn từ cuốn sách "Nhận dạng mẫu và học máy" của Giám mục, phần 12.2.4 "Phân tích nhân tố":

Theo phần đánh dấu, phân tích yếu tố chụp hiệp phương sai giữa các biến trong ma trận$W$ . Tôi tự hỏi NHƯ THẾ NÀO ?

Đây là cách tôi hiểu nó. Giả sử là biến số -chiều quan sát được , là ma trận tải nhân tố và là vectơ điểm yếu tố. Sau đó, chúng ta có đó là và mỗi cột trong là một vectơ tải nhân tố Như tôi đã viết, có$x$$p$$W$$z$

Bây giờ đây là điểm, theo phần được tô sáng, tôi nghĩ rằng các tải trong mỗi cột giải thích hiệp phương sai trong dữ liệu được quan sát, phải không?$w_i$

Ví dụ: chúng ta hãy xem vectơ tải đầu tiên , cho 1 \ le i, j, k \ le p , nếu w_ {1i} = 10 , w_ {1j} = 11 và w_ {1k} = 0.1 , sau đó Tôi muốn nói x_i và x_j có mối tương quan cao, trong khi x_k dường như không tương quan với họ , phải không? 1 ≤ i , j , k ≤ p w 1 i = 10 w 1 j = 11 w 1 k = 0,1 x i x j x k$w_1$$1\le i,j,k\le p$$w_{1i}=10$$w_{1j}=11$$w_{1k}=0.1$$x_i$$x_j$$x_k$

Và nếu đây là cách phân tích nhân tố giải thích hiệp phương sai giữa các tính năng được quan sát, thì tôi muốn nói PCA cũng giải thích hiệp phương sai, phải không?

Sự khác biệt giữa phân tích thành phần chính và phân tích nhân tố được thảo luận trong nhiều sách giáo khoa và bài viết về các kỹ thuật đa biến. Bạn có thể tìm thấy toàn bộ chủ đề , và một chủ đề mới hơn , và câu trả lời kỳ lạ, trên trang web này, quá.

Tôi sẽ không làm cho nó chi tiết. Tôi đã đưa ra một câu trả lời ngắn gọn và dài hơn và bây giờ muốn làm rõ nó bằng một cặp hình ảnh.

Biểu diễn đồ họa

Hình dưới đây giải thích PCA . (Điều này được mượn từ đây nơi PCA được so sánh với tuyến tính hồi quy và tương quan Canonical Bức tranh là đại diện vector của các biến trong. Không gian đối tượng ; để hiểu những gì nó là bạn có thể muốn đọc đoạn 2 ở đó.)

Cấu hình PCA trên hình ảnh này đã được mô tả ở đó . Tôi sẽ lặp lại hầu hết những điều chính. Các thành phần chính $P_1$ và $P_2$ nằm trong cùng một không gian được kéo dài bởi các biến $X_1$ và $X_2$ , "mặt phẳng X". Độ dài bình phương của mỗi trong bốn vectơ là phương sai của nó. Hiệp phương sai giữa $X_1$ và $X_2$ là $cov_{12}= |X_1||X_2|r$ , nơi $r$ bằng cosin của góc giữa các vectơ của chúng.

Các phép chiếu (tọa độ) của các biến trên các thành phần, $a$ , là tải của các thành phần trên các biến: tải là hệ số hồi quy trong tổ hợp tuyến tính của biến mô hình theo các thành phần được tiêu chuẩn hóa . "Chuẩn hóa" - bởi vì thông tin về phương sai của các thành phần đã được hấp thụ trong các tải trọng (hãy nhớ rằng, các tải trọng là các hàm riêng được chuẩn hóa theo các giá trị riêng tương ứng). Và do đó, và thực tế là các thành phần không tương quan, tải trọng là hiệp phương sai giữa các biến và các thành phần.

Sử dụng PCA cho mục đích giảm kích thước / dữ liệu buộc chúng tôi chỉ giữ lại $P_1$ và coi $P_2$ là phần còn lại hoặc lỗi. $a_{11}^2+a_{21}^2= |P_1|^2$ là phương sai được bắt (giải thích) bởi $P_1$ .

Hình dưới đây cho thấy phân tích nhân tố được thực hiện trên cùng các biến $X_1$ và $X_2$ mà chúng tôi đã thực hiện PCA ở trên. (Tôi sẽ nói về mô hình nhân tố chung , vì có tồn tại khác: mô hình nhân tố alpha, mô hình nhân tố hình ảnh.) Smiley sun giúp chiếu sáng.

Yếu tố chung là $F$ . Đây là những gì tương tự với thành phần chính $P_1$ ở trên. Bạn có thể thấy sự khác biệt giữa hai điều này? Có, rõ ràng: yếu tố không nằm trong không gian "mặt phẳng X" của biến.

Làm thế nào để có được yếu tố đó bằng một ngón tay, tức là làm phân tích nhân tố? Hãy thử xem. Trên hình trước, móc đầu mũi tên $P_1$ bằng đầu móng tay của bạn và kéo ra khỏi "mặt phẳng X", trong khi hình dung cách hai mặt phẳng mới xuất hiện, "mặt phẳng U1" và "mặt phẳng U2"; những cái này kết nối vectơ móc và hai vectơ biến. Hai mặt phẳng tạo thành một mui xe, X1 - F - X2, phía trên "mặt phẳng X".

Tiếp tục kéo trong khi chiêm ngưỡng mui xe và dừng lại khi "mặt phẳng U1" và "mặt phẳng U2" tạo thành 90 độ giữa chúng. Sẵn sàng, phân tích nhân tố được thực hiện. Vâng, có, nhưng chưa tối ưu. Để làm điều đó đúng, giống như các gói làm, lặp lại toàn bộ bài tập kéo mũi tên, bây giờ thêm các cú xoay nhỏ bên trái của ngón tay trong khi bạn kéo. Làm như vậy, tìm vị trí của mũi tên khi tổng các hình chiếu bình phương của cả hai biến lên nó được tối đa hóa , trong khi bạn đạt được góc 90 độ đó. Dừng lại. Bạn đã phân tích nhân tố, tìm thấy vị trí của các yếu tố phổ biến $F$ .

Một lần nữa để nhận xét, không giống như thành phần chính $P_1$ , yếu tố $F$ không thuộc về không gian "mặt phẳng X" của biến. Do đó, đây không phải là chức năng của các biến (thành phần chính là và bạn có thể chắc chắn từ hai hình ảnh hàng đầu ở đây rằng PCA về cơ bản là hai hướng: dự đoán các biến theo các thành phần và ngược lại). Do đó, phân tích nhân tố không phải là một phương pháp mô tả / đơn giản hóa, như PCA, nó là phương pháp mô hình hóa theo đó yếu tố tiềm ẩn điều khiển các biến quan sát, theo một chiều.

Loadings $a$ 's các yếu tố trên các biến giống như tải trọng trong PCA; chúng là hiệp phương sai và chúng là hệ số của các biến mô hình hóa theo hệ số (chuẩn hóa). $a_{1}^2+a_{2}^2= |F|^2$ là phương sai bị bắt (giải thích) bởi $F$ . Yếu tố được tìm thấy là tối đa hóa số lượng này - như thể một thành phần chính. Tuy nhiên, phương sai được giải thích đó không phải là phương sai tổng thể của biến số nữa , - thay vào đó, đó là phương sai của chúng mà chúng thay đổi (tương quan). Tại sao như vậy?

Quay trở lại pic. Chúng tôi trích xuất $F$ theo hai yêu cầu. Một là tổng số tối đa của tải trọng bình phương. Cái còn lại là việc tạo ra hai mặt phẳng vuông góc, "mặt phẳng U1" chứa $F$ và $X_1$ và "mặt phẳng U2" chứa $F$ và $X_2$ . Bằng cách này, mỗi biến X xuất hiện bị phân hủy. $X_1$ bị phân hủy thành các biến $F$ và $U_1$ , trực giao lẫn nhau; $X_2$ cũng bị phân hủy thành các biến $F$ và $U_2$ , cũng trực giao. Và $U_1$là trực giao với $U_2$ . Chúng ta biết $F$ là gì - yếu tố phổ biến . $U$ được gọi là các yếu tố độc đáo . Mỗi biến có yếu tố duy nhất của nó. Ý nghĩa như sau. $U_1$ phía sau $X_1$ và $U_2$ sau $X_2$ là các lực cản trở $X_1$ và $X_2$ tương quan. Nhưng $F$ - yếu tố chung - là lực đứng sau cả $X_1$ và $X_2$điều đó làm cho chúng tương quan. Và phương sai được giải thích nằm dọc theo yếu tố chung đó. Vì vậy, nó là phương sai collinearity thuần túy. Chính phương sai đó làm cho $cov_{12}>0$ ; giá trị thực tế của $cov_{12}$ được xác định theo độ nghiêng của các biến đối với nhân tố, bởi $a$ 's.

Do đó, phương sai của biến (bình phương độ dài vectơ) do đó bao gồm hai phần tách rời phụ gia: tính duy nhất $u^2$ và tính cộng đồng $a^2$ . Với hai biến, như ví dụ của chúng tôi, chúng tôi có thể trích xuất tối đa một yếu tố chung, vì vậy tính cộng đồng = bình phương tải đơn. Với nhiều biến số, chúng tôi có thể trích xuất một số yếu tố phổ biến và tính cộng đồng của một biến sẽ là tổng của tải trọng bình phương của nó. Trên hình ảnh của chúng tôi, không gian các yếu tố phổ biến là không có chiều (chỉ bản thân $F$ ); Khi m yếu tố chung tồn tại, không gian đó là m- chiều rộng, với các cộng đồng là các phép chiếu của các biến số trên không gian và các tải trọng là các biến số 'cũng như các phép chiếu đó' về các yếu tố trải rộng không gian. Phương sai được giải thích trong phân tích nhân tố là phương sai trong không gian của các yếu tố chung đó, khác với không gian của các biến trong đó các thành phần giải thích phương sai. Không gian của các biến nằm trong bụng của không gian kết hợp: m chung + p yếu tố duy nhất.

Chỉ cần lướt qua pic hiện tại xin vui lòng. Có một số biến (giả sử $X_1$ , $X_2$ , $X_3$ ) với phân tích nhân tố đã được thực hiện, trích xuất hai yếu tố phổ biến. Các yếu tố $F_1$ và $F_2$ bao trùm không gian nhân tố chung "mặt phẳng nhân tố". Trong số các biến được phân tích, chỉ có một ( $X_1$ ) được hiển thị trên hình. Phân tích đã phân tách nó thành hai phần trực giao, cộng đồng $C_1$ và yếu tố duy nhất $U_1$ . Tính cộng đồng nằm trong "mặt phẳng nhân tố" và tọa độ của nó trên các yếu tố là các tải trọng mà theo đó các yếu tố phổ biến tải $X_1$(= tọa độ của chính $X_1$ trên các yếu tố). Trên hình, các cộng đồng của hai biến còn lại - các hình chiếu của $X_2$ và của $X_3$ - cũng được hiển thị. Thật thú vị khi nhận xét rằng hai yếu tố phổ biến có thể, được hiểu là các thành phần chính của tất cả các "biến số" cộng đồng đó. Trong khi các thành phần chính thông thường tóm tắt theo thâm niên thì tổng phương sai đa biến của các biến, các yếu tố tóm tắt tương tự phương sai chung đa biến của chúng. 1$^1$

Tại sao cần tất cả các verbiage? Tôi chỉ muốn đưa ra bằng chứng cho tuyên bố rằng khi bạn phân tách từng biến tương quan thành hai phần tiềm ẩn trực giao, một (A) đại diện cho sự không tương quan (tính trực giao) giữa các biến và phần khác (B) đại diện cho mối tương quan của chúng (collinearity), và bạn trích xuất các yếu tố chỉ từ B kết hợp, bạn sẽ thấy mình giải thích hiệp phương sai theo cặp, bằng cách tải các yếu tố đó. Trong mô hình nhân tố của chúng tôi, $cov_{12} \approx a_1a_2$ - khôi phục các yếu tốhiệp phương sai cá nhân bằng phương pháp tải. Trong mô hình PCA, không phải như vậy vì PCA giải thích không phân tách, hỗn hợp cộng gộp + phương sai riêng trực giao. Cả hai thành phần mạnh mà bạn giữ lại và các thành phần tiếp theo mà bạn thả là hợp nhất của các bộ phận (A) và (B); do đó PCA có thể khai thác, bằng cách tải của nó, hiệp phương sai chỉ một cách mù quáng và thô thiển.

Danh sách tương phản PCA vs FA

• PCA: hoạt động trong không gian của các biến. FA: trancsends không gian của các biến.
• PCA: có sự thay đổi như là. FA: phân đoạn biến đổi thành các phần phổ biến và duy nhất.
• PCA: giải thích phương sai không phân tách, tức là dấu vết của ma trận hiệp phương sai. FA: chỉ giải thích phương sai chung, do đó giải thích (khôi phục bằng tải) tương quan / hiệp phương sai, các yếu tố ngoài đường chéo của ma trận. (PCA giải thích off-đường chéo yếu tố quá - nhưng trong đi qua, ngay cách - đơn giản chỉ vì chênh lệch được chia sẻ trong một hình thức của hiệp phương sai.)
• PCA: các thành phần là các hàm tuyến tính theo lý thuyết của các biến, các biến là các hàm tuyến tính theo lý thuyết của các thành phần. FA: các biến là các hàm tuyến tính theo lý thuyết, chỉ.
• PCA: phương pháp tóm tắt theo kinh nghiệm; nó giữ lại các thành phần m . FA: phương pháp mô hình lý thuyết ; nó phù hợp với các yếu tố số m cố định với dữ liệu; FA có thể được kiểm tra (FA xác nhận).
• PCA: là MDS số liệu đơn giản nhất , nhằm mục đích giảm tính chiều trong khi gián tiếp duy trì khoảng cách giữa các điểm dữ liệu càng nhiều càng tốt. FA: Các yếu tố là những đặc điểm tiềm ẩn thiết yếu đằng sau các biến khiến chúng tương quan; phân tích nhằm mục đích giảm dữ liệu đến những tinh chất đó.
• PCA: xoay / giải thích các thành phần - đôi khi (PCA không đủ thực tế như một mô hình đặc điểm tiềm ẩn). FA: luân chuyển / giải thích các yếu tố - thường xuyên.
• PCA: chỉ phương pháp giảm dữ liệu. FA: cũng là một phương pháp để tìm các cụm biến kết hợp (điều này là do các biến không thể tương quan ngoài một yếu tố).
• PCA: tải và điểm số độc lập với số m của các thành phần được "trích xuất". FA: tải và điểm phụ thuộc vào số m của các yếu tố "được trích xuất".
• PCA: điểm thành phần là giá trị thành phần chính xác. FA: điểm yếu tố gần đúng với giá trị yếu tố thực và tồn tại một số phương pháp tính toán . Điểm yếu tố nằm trong không gian của các biến (giống như các thành phần) trong khi các yếu tố thực sự (như được thể hiện bởi các yếu tố tải) thì không.
• PCA: thường không có giả định. FA: giả định về tương quan một phần yếu; đôi khi giả định quy tắc đa biến; một số bộ dữ liệu có thể "xấu" để phân tích trừ khi được chuyển đổi.
• PCA: thuật toán không thay đổi; luôn thành công FA: thuật toán lặp (thông thường); đôi khi vấn đề không tuân thủ; số ít có thể là một vấn đề.

$^1$ Cho tỉ mỉ. Người ta có thể hỏi các biến$X_2$ và$X_3$ ở đâu trên pic, tại sao chúng không được vẽ? Câu trả lời là chúng ta không thể vẽ chúng, thậm chí về mặt lý thuyết. Không gian trên hình là 3d (được xác định bởi "mặt phẳng nhân tố" và vectơ duy nhất$U_1$ ;$X_1$ nằm trên phần bổ sung lẫn nhau, mặt phẳng được tô màu xám, đó là những gì tương ứng với một độ dốc của "mui xe" trên hình số 2 ), và vì vậy tài nguyên đồ họa của chúng tôi đã cạn kiệt. Không gian ba chiều được kéo dài bởi ba biến$X_1$ ,$X_2$ ,$X_3$ với nhau làmột biến kháckhông gian. Cả "mặt phẳng nhân tố" lẫn $U_1$ đều không phải là không gian con của nó. Đó là điểm khác biệt so với PCA: các yếu tố không thuộc về không gian của các biến. Mỗi biến riêng biệt nằm trong mặt phẳng màu xám riêng biệt của nó với "mặt phẳng nhân tố" - giống như $X_1$ được hiển thị trên pic của chúng ta, và đó là tất cả: nếu chúng ta thêm, giả sử, $X_2$ vào cốt truyện, chúng ta nên phát minh ra chiều thứ 4. (Chỉ cần nhớ lại rằng tất cả các $U$ phải trực giao lẫn nhau; vì vậy, để thêm một $U$ khác , bạn phải mở rộng kích thước xa hơn.)

Tương tự như trong hồi quy, các hệ số là tọa độ, trên các yếu tố dự đoán, cả hai biến phụ thuộc và (các) dự đoán ( Xem pic trong "Hồi quy bội" và ở đây cũng vậy), trong FAtải trọng là tọa độ, trên các yếu tố, cả hai biến quan sát và các phần tiềm ẩn của chúng - các cộng đồng. Và chính xác như trong hồi quy rằng thực tế không làm cho (các) phụ thuộc và các yếu tố dự đoán là không gian con của nhau, - trong FA, thực tế tương tự không làm cho các biến quan sát và các yếu tố tiềm ẩn là không gian con của nhau. Một yếu tố là "người ngoài hành tinh" đối với một biến theo nghĩa khá giống như một yếu tố dự đoán là "người ngoài hành tinh" đối với phản ứng phụ thuộc. Nhưng trong PCA, đó là một cách khác: các thành phần chính được lấy từ các biến quan sát và được giới hạn trong không gian của chúng.

Vì vậy, một lần nữa lặp lại: m các yếu tố phổ biến của FA không phải là không gian con của các biến đầu vào p . Ngược lại: các biến tạo thành một không gian con trong không gian liên kết m + p ( m yếu tố chung + p duy nhất). Khi nhìn từ góc độ này (tức là với các yếu tố duy nhất cũng bị thu hút), rõ ràng FA cổ điển không phải là một kỹ thuật thu nhỏ kích thước , giống như PCA cổ điển, mà là một kỹ thuật mở rộng chiều . Tuy nhiên, chúng tôi chỉ chú ý đến một phần nhỏ ( m chiều chung) của sự phình to đó, vì phần này chỉ giải thích các mối tương quan.

"Giải thích hiệp phương sai" so với giải thích phương sai

$\boldsymbol \Sigma$$\boldsymbol \Sigma$

$\widetilde {\mathbf W}$$\boldsymbol \Sigma$$m<k$

Nhận xét thêm

$2 \times 2$

• Có lý do chính đáng nào để sử dụng PCA thay vì EFA không? Ngoài ra, PCA có thể thay thế cho phân tích nhân tố không?

Vì vậy, mặc dù các bản vẽ của @ ttnphns có thể tạo ấn tượng rằng PCA và FA rất khác nhau, ý kiến ​​của tôi là không phải vậy, ngoại trừ rất ít biến số hoặc trong một số tình huống đặc biệt khác.

Xem thêm:

• Trong điều kiện nào PCA và FA mang lại kết quả tương tự?
• $k$

Cuối cùng:

$w_1$$1\le i,j,k\le p$$w_{1i}=10$$w_{1j}=11$$w_{1k}=0.1$$x_i$$x_j$$x_k$

$x_i$$x_j$$w_2$$x_i$$x_k$