Không gian con chính trong PCA xác suất là gì?

nếu được quan sát ma trận dữ liệu và là biến tiềm ẩn thì $X$ $Y$

X = W Y + μ + ϵ

$X=WY+\mu+\epsilon$

Trong đó là giá trị trung bình của dữ liệu được quan sát và là lỗi / nhiễu Gaussian trong dữ liệu và được gọi là không gian con chính. $\mu$ $\epsilon$ $W$

Câu hỏi của tôi là khi PCA bình thường được sử dụng, chúng ta sẽ có được một tập hợp các hàm riêng trực giao mà sau đây là đúng $E$

Y = E X

$Y=EX$

Nhưng trong PPCA, không phải là trực giao cũng không phải là hàm riêng. Vậy làm thế nào tôi có thể nhận được các thành phần chính từ ? $W$ $W$

Theo bản năng của tôi, tôi đã tìm kiếm ppca trong MATLAB, nơi tôi bắt gặp dòng này:

Khi hội tụ, các cột của W kéo dài không gian con, nhưng chúng không trực giao. ppca thu được các hệ số trực giao, coeff, cho các thành phần bằng cách trực giao của W.

Tôi đổi mã ppca một chút để có được W , chạy nó và sau orthogonalization tôi đã nhận được P từ W .

Tại sao sự trực giao hóa này lại mang lại cho người bản địa, dọc theo đó phần lớn phương sai sẽ được nhìn thấy?

Tôi giả sử, trực giao hóa cho tôi một tập các vectơ trực giao / trực giao kéo dài không gian con chính, nhưng tại sao ma trận kết quả trực giao này lại bằng với eigenmatrix (tôi biết rằng eigenmatrix trong pca cũng là trực giao)? Tôi có thể giả sử không gian con chính chỉ được kéo dài bởi một tập các vectơ trực giao duy nhất không? Trong trường hợp đó cả hai kết quả sẽ trùng khớp luôn.

— người dùng3086871
nguồn

Chỉ để xóa sự nhầm lẫn của tôi, tôi đã kiểm tra chính xác nơi W được tính toán và gán nó cho một tham số đầu ra mới gọi là prin_sub. Tôi biết ppca trả về W trong SW, nhưng để hoàn toàn rõ ràng, tôi đã làm điều đó một cách thừa thãi. và trong tài liệu, một ví dụ đã được đưa ra bằng cách sử dụng dữ liệu 'hald', tôi đã sử dụng mã của họ: P = orth (SW) cũng @amoeba Tôi đã xóa các câu hỏi khác của mình.

— dùng3086871

Đây là một câu hỏi tuyệt vời.

PCA xác suất (PPCA) là mô hình biến tiềm ẩn sau đây started trong đó là một quan sát và là một tiềm ẩn vectơ biến; thường là . Lưu ý rằng điều này khác với phân tích nhân tố chỉ trong một chi tiết nhỏ: cấu trúc hiệp phương sai trong PPCA là và trong FA, nó là một ma trận đường chéo tùy ý .

\begin{aligned} z & \sim N (0, I) \\ x & \sim N (W z + μ, σ^{2} I), \end{aligned}

$\begin{align} \mathbf z &\sim \mathcal N(\mathbf 0, \mathbf I) \\ \mathbf x &\sim \mathcal N(\mathbf W \mathbf z + \boldsymbol \mu, \sigma^2 \mathbf I), \end{align}$

x \in R^{p}

$\mathbf x\in\mathbb R^p$

z \in R^{q}

$\mathbf z\in\mathbb R^q$

q ≪ p

$q\ll p$

σ^{2} I

$\sigma^2 \mathbf I$

Ψ

$\boldsymbol \Psi$

Tipping & Bishop, 1999, Phân tích thành phần chính xác suất chứng minh định lý sau: giải pháp khả năng tối đa cho PPCA có thể thu được bằng phân tích và được đưa ra bởi (Eq. 7): trong đó là một ma trận gồm các hướng chính của (hàm riêng của ma trận hiệp phương sai), là ma trận đường chéo của các giá trị riêng tương ứng, cũng được đưa ra bởi một công thức rõ ràng và là ma trận xoay vòng tùy ý (tương ứng với các phép quay trong không gian tiềm ẩn).

W_{M L} = U_{q} (Λ_{q} - σ_{M L}^{2} I)^{1 / 2} R,

$\mathbf W_\mathrm{ML} = \mathbf U_q (\boldsymbol \Lambda_q - \sigma_\mathrm{ML}^2 \mathbf I)^{1/2} \mathbf R,$

U_{q}

$\mathbf U_q$

q

$q$

Λ_{q}

$\boldsymbol \Lambda_q$

σ_{M L}^{2}

$\sigma_\mathrm{ML}^2$

R

$\mathbf R$

q \times q

$q\times q$

Các ppca()thuật toán cụ chức năng mong đợi-tối đa hóa để phù hợp với mô hình, nhưng chúng ta biết rằng nó phải hội tụ vào như được đưa ra ở trên. $\mathbf W_\mathrm{ML}$

Câu hỏi của bạn là: làm thế nào để có được nếu bạn biết . $\mathbf U_q$ $\mathbf W_\mathrm{ML}$

Câu trả lời là bạn chỉ có thể sử dụng phân tách giá trị số ít của . Công thức ở trên đã có dạng ma trận trực giao lần ma trận đường chéo lần ma trận trực giao, do đó, nó cung cấp cho SVD, và vì nó là duy nhất, bạn sẽ nhận được dưới dạng các vectơ đơn trái của . $\mathbf W_\mathrm{ML}$ $\mathbf U_q$ $\mathbf W_\mathrm{ML}$

Đó chính xác là những gì ppca()chức năng của Matlab đang làm trong dòng 305:

% Orthogonalize W to the standard PCA subspace
[coeff,~] = svd(W,'econ');

Tôi có thể giả sử không gian con chính chỉ được kéo dài bởi một tập các vectơ trực giao duy nhất không?

Không! Có một số lượng vô hạn các cơ sở trực giao trải dài trên cùng một không gian con chính. Nếu bạn áp dụng một số quy trình trực giao tùy ý cho bạn không được đảm bảo có được . Nhưng nếu bạn sử dụng SVD hoặc một cái gì đó tương đương, thì nó sẽ hoạt động. $\mathbf W_\mathrm{ML}$ $\mathbf U_q$

— amip
nguồn

Thật là một câu trả lời tuyệt vời! Bạn thật tuyệt vời! Giúp đỡ lớn Cảm ơn bạn rất nhiều. @amoeba

— user3086871