Câu hỏi này phần lớn là về định nghĩa của PCA / FA, vì vậy ý kiến có thể khác nhau. Ý kiến của tôi là PCA + varimax không nên được gọi là PCA hoặc FA, được gọi một cách rõ ràng hơn, ví dụ như "PCA varimax-rotated".
Tôi nên thêm rằng đây là một chủ đề khá khó hiểu. Trong câu trả lời này, tôi muốn giải thích một vòng quay thực sự là gì ; điều này sẽ đòi hỏi một số toán học. Một độc giả bình thường có thể bỏ qua trực tiếp để minh họa. Chỉ sau đó chúng ta mới có thể thảo luận về việc xoay PCA + nên hay không nên được gọi là "PCA".
Một tài liệu tham khảo là cuốn sách "Phân tích thành phần chính" của Jolliffe, phần 11.1 "Xoay vòng các thành phần chính", nhưng tôi thấy nó có thể rõ ràng hơn.
Đặt là ma trận dữ liệu n × p mà chúng ta giả sử là trung tâm. Lượng PCA ( xem câu trả lời của tôi ở đây ) cho một phân hủy ít có giá trị: X = U S V ⊤ . Có hai chế độ xem tương đương nhưng miễn phí về phân tách này: chế độ xem "chiếu" kiểu PCA hơn và chế độ xem "biến tiềm ẩn" kiểu FA hơn.Xn×pX=USV⊤
Theo quan điểm kiểu PCA, chúng tôi đã tìm thấy một loạt các hướng trực giao (đây là các hàm riêng của ma trận hiệp phương sai, còn được gọi là "hướng chính" hoặc "trục") và "thành phần chính" U S (còn được gọi là thành phần chính " điểm số ") là các phép chiếu của dữ liệu theo các hướng này. Thành phần chủ yếu là không tương quan, là người đầu tiên có tối đa sai có thể, vv Chúng tôi có thể viết: X = U S ⋅ V ⊤ = Điểm ⋅ hướng chính .VUS
X=US⋅V⊤=Scores⋅Principal directions.
Theo quan điểm kiểu FA, chúng tôi đã tìm thấy một số "yếu tố tiềm ẩn" đơn vị không tương quan làm phát sinh các biến quan sát thông qua "tải". Thật vậy, là các thành phần chính được tiêu chuẩn hóa (không tương quan và với phương sai đơn vị) và nếu chúng ta xác định tải làL=VS/ √U˜=n−1−−−−−√U , sau đó X= √L=VS/n−1−−−−−√(Lưu ý rằng S ⊤=S). Cả hai quan điểm là tương đương. Lưu ý rằng tải trọng là vector riêng thu nhỏ lại bởi các giá trị riêng tương ứng (S/ √
X=n−1−−−−−√U⋅(VS/n−1−−−−−√)⊤=U˜⋅L⊤=Standardized scores⋅Loadings.
S⊤=S là các giá trị riêng của ma trận hiệp phương sai).
S/n−1−−−−−√
≠
k<p
X≈UkSkV⊤k=U˜kL⊤k.
k×kTTT⊤=IX≈UkSkV⊤k=UkTT⊤SkV⊤k=U˜rotL⊤rot,
Lrot=LkTU˜rot=U˜kTTLrot trở nên càng gần với sự thưa thớt càng tốt, để tạo điều kiện cho sự giải thích của nó.)
Lưu ý rằng những gì được xoay là: (1) điểm chuẩn, (2) tải. Nhưng không phải là điểm số thô và không phải là hướng chính! Vì vậy, vòng quay xảy ra trong không gian tiềm ẩn , không phải trong không gian ban đầu. Điều này là hoàn toàn quan trọng.
LrotkRpkX
Σ≈LkL⊤k=LrotL⊤rot.
Nhưng quan điểm kiểu PCA thực tế đã sụp đổ. Tải trọng xoay không tương ứng với các hướng / trục trực giao trong nữa, tức là các cột của không trực giao! Tồi tệ hơn, nếu bạn [trực tiếp] chiếu dữ liệu lên các hướng được cung cấp bởi các tải được xoay, bạn sẽ nhận được các phép chiếu tương quan (!) Và sẽ không thể khôi phục điểm số. [Thay vào đó, để tính điểm chuẩn hóa sau khi quay, người ta cần nhân ma trận dữ liệu với giả nghịch đảo của tải trọng . Ngoài ra, người ta có thể chỉ cần xoay điểm chuẩn hóa ban đầu với ma trận xoay vòng:RpLrotU˜rot=X(L+rot)⊤U˜rot=U˜T ] Ngoài ra, các thành phần được xoay không thu được liên tục số lượng phương sai tối đa: phương sai được phân phối lại giữa các thành phần (thậm chí mặc dù tất cả các thành phần xoay nắm bắt chính xác nhiều phương sai như tất cả các thành phần chính gốc ).kk
Đây là một minh họa. Dữ liệu là một hình elip 2D kéo dài dọc theo đường chéo chính. Hướng chính đầu tiên là đường chéo chính, hướng thứ hai là trực giao với nó. Các vectơ tải PCA (các hàm riêng được chia tỷ lệ theo giá trị riêng) được hiển thị bằng màu đỏ - chỉ theo cả hai hướng và cũng được kéo dài bởi một yếu tố không đổi cho khả năng hiển thị. Sau đó, tôi áp dụng một vòng quay trực giao bằng cho các tải. Kết quả tải vectơ được hiển thị trong màu đỏ tươi. Lưu ý làm thế nào chúng không trực giao (!).30∘
Một trực giác theo kiểu FA ở đây như sau: hãy tưởng tượng một "không gian tiềm ẩn" nơi các điểm lấp đầy một vòng tròn nhỏ (đến từ Gaussian 2D với phương sai đơn vị). Các phân phối điểm này sau đó được kéo dài dọc theo các tải của PCA (màu đỏ) để trở thành hình elip dữ liệu mà chúng ta thấy trên hình này. Tuy nhiên, cùng một phân phối các điểm có thể được xoay và sau đó kéo dài dọc theo các tải PCA được xoay (đỏ tươi) để trở thành cùng một hình elip dữ liệu .
[Để thực sự thấy rằng một vòng quay trực giao của tải trọng là một vòng quay , người ta cần nhìn vào một biplot PCA; ở đó các vectơ / tia tương ứng với các biến ban đầu sẽ chỉ xoay.]
Hãy để chúng tôi tóm tắt. Sau khi xoay trực giao (chẳng hạn như varimax), các trục "gốc xoay" không trực giao và các hình chiếu trực giao trên chúng không có ý nghĩa. Vì vậy, người ta nên bỏ toàn bộ quan điểm trục / dự đoán này. Sẽ là kỳ lạ khi vẫn gọi nó là PCA (đó là tất cả về các phép chiếu với phương sai tối đa, v.v.).
Từ quan điểm kiểu FA, chúng tôi chỉ đơn giản xoay các yếu tố tiềm ẩn (được chuẩn hóa và không tương quan), đó là một hoạt động hợp lệ. Không có "dự đoán" nào trong FA; thay vào đó, các yếu tố tiềm ẩn tạo ra các biến quan sát thông qua tải. Logic này vẫn được bảo tồn. Tuy nhiên, chúng tôi đã bắt đầu với các thành phần chính, không thực sự là các yếu tố (vì PCA không giống với FA). Vì vậy, sẽ thật kỳ lạ khi gọi nó là FA.
Thay vì tranh luận liệu một "nên" thay vì gọi nó là PCA hay FA, tôi sẽ đề nghị nên tỉ mỉ trong việc chỉ định thủ tục được sử dụng chính xác: "PCA theo sau là một vòng xoay varimax".
Đoạn tái bút. Nó là tốt để xem xét một quy trình luân chuyển thay thế, nơi được chèn giữa và . Điều này sẽ xoay điểm số thô và trình xác định (thay vì điểm và tải tiêu chuẩn hóa). Vấn đề lớn nhất với cách tiếp cận này là sau khi "xoay vòng" như vậy, điểm số sẽ không còn bị làm phiền nữa, điều này khá nguy hiểm cho PCA. Người ta có thể làm điều đó, nhưng đó không phải là cách quay thường được hiểu và áp dụng.TT⊤USV⊤