Trong điều kiện nào PCA và FA mang lại kết quả tương tự?

Trong những điều kiện nào có thể phân tích thành phần chính (PCA) và phân tích nhân tố (FA) để mang lại kết quả tương tự?

pca factor-analysis

— số liệu thống kê
nguồn

Đặt

là tải trọng (không phải là hàm riêng) của các thành phần chính cuối cùng - những thành phần mà bạn thả trong PCA ( là số lượng biến và là số lượng thành phần hoặc yếu tố bạn quyết định trích xuất). Nếu

là gần đường chéo, sau đó kết quả PCA của bạn cũng tương tự như kết quả FA. Một số câu hỏi để bạn đọc: stats.stackexchange.com/q/123063/3277 , stats.stackexchange.com/q/94048/3277 .

L

$\bf L$ p-mpm

L L^{'}

$\bf LL'$

— ttnphns

Nói cách khác: khi PCA xảy ra để cách ly nhiễu cụ thể biến đổi khỏi tín hiệu (các yếu tố phổ biến) như thành công như phân tích nhân tố thường xuyên thực hiện. PCA, không giống như FA, không có ý định thực hiện công việc này, tuy nhiên trong một số điều kiện, nó thường xuất hiện để thực hiện nó. Một số điều kiện sau: 1) plà lớn; 2) tiếng ồn là nhỏ đối với tất cả các biến; 3) tiếng ồn là bằng nhau cho tất cả các biến.

— ttnphns

Đây là một câu hỏi xuất sắc, nhưng thật không may (hoặc có thể may mắn thay?) Tôi mới chỉ viết một câu trả lời rất dài trong một chủ đề liên quan , giải quyết câu hỏi của bạn gần như chính xác. Tôi vui lòng yêu cầu bạn nhìn vào đó và xem nếu điều đó trả lời câu hỏi của bạn.

Rất ngắn gọn, nếu chúng ta chỉ tập trung vào PCA và FA loadings , sau đó sự khác biệt là PCA thấy để tái tạo lại các hiệp phương sai mẫu (hoặc tương quan) ma trận càng gần càng tốt: trong khi FA phát hiện để tái tạo lại phần off-đường chéo của hiệp phương sai (hoặc tương quan) chỉ ma trận: Bằng cách này, tôi có nghĩa là FA không quan tâm đến những giá trị $\mathbf W$ $\mathbf W$ $\mathbf C$

C \approx W W^{⊤},

$\mathbf C \approx \mathbf W \mathbf W^\top,$

W

$\mathbf W$

o f f d Tôi một g {C} \approx W W^{⊤} .

$\mathrm{offdiag}\{\mathbf C\} \approx \mathbf W \mathbf W^\top.$

W W^{⊤}

$\mathbf W \mathbf W^\top$ có trên đường chéo, nó chỉ quan tâm đến phần ngoài đường chéo.

Với suy nghĩ này, câu trả lời cho câu hỏi của bạn trở nên dễ nhìn. Nếu số của các biến (kích thước của ) lớn, thì phần ngoài đường chéo của gần như là toàn bộ ma trận (đường chéo có kích thước và toàn bộ kích thước ma trận , vì vậy đóng góp của đường chéo chỉ là ) và vì vậy chúng ta có thể mong đợi rằng PCA xấp xỉ FA tốt. Nếu các giá trị đường chéo khá nhỏ, thì một lần nữa chúng không đóng vai trò nhiều cho PCA và PCA cuối cùng gần với FA, chính xác như @ttnphns đã nói ở trên. $n$ $\mathbf C$ $\mathbf C$ $n$ $n^2$ $1/n \to 0$

$\mathbf C$ $\mathbf W$

Tại sao PCA và Phân tích nhân tố trả về các kết quả khác nhau trong ví dụ này?

— amip
nguồn

| | C - W W^{T} - Ψ | |^{2}

$||C−WW^T−\Psi||^2$

| | ∙ | |^{2}

$||\bullet||^2$

Liên quan, ttnphns tuyên bố rằng giảm thiểu

| | X - X_{k} | |^{2}

$||X−X_k||^2$

| | X^{T} X - X_{k}^{T} X_{k} | |^{2}

$||X^TX−X_k^TX_k||^2$

W

$W$

Ψ

$\Psi$

Ψ

$\Psi$

W

$W$

Ψ

$\Psi$

Để câu hỏi thứ hai của bạn. Không chắc chắn nếu điều này nói chung là đúng (có thể là vậy, có thể không), nhưng tôi không bao giờ sử dụng nó trong câu trả lời được liên kết của mình. Nhìn vào "Cập nhật 2" của tôi một cách cẩn thận, tuyên bố này là không cần thiết.

— amip