Các mô hình xác suất cho bình phương tối thiểu một phần, giảm hồi quy xếp hạng và phân tích tương quan chính tắc?

Câu hỏi này là kết quả của cuộc thảo luận sau câu hỏi trước: Mối liên hệ giữa bình phương nhỏ nhất một phần, hồi quy thứ hạng giảm và hồi quy thành phần chính là gì?

Để phân tích thành phần chính, một mô hình xác suất thường được sử dụng là trong đó , , và . Khi đó hiệp phương sai dân số của là , tức là Mục tiêu là ước tính

x = \sqrt{λ} w z + ϵ \in R^{p},

$\mathbf x = \sqrt{\lambda} \mathbf{w} z + \boldsymbol \epsilon \in \mathbb R^p,$

z \sim N (0, 1)

$z\sim \mathcal N(0,1)$

w \in S^{p - 1}

$\mathbf{w}\in S^{p-1}$

λ > 0

$\lambda > 0$

ϵ \sim N (0, I_{p})

$\boldsymbol\epsilon \sim \mathcal N(0,\mathbf{I}_p)$

x

$\mathbf{x}$

λ w w^{T} + I_{p}

$\lambda \mathbf{w}\mathbf{w}^T + \mathbf{I}_p$

x \sim N (0, λ w w^{T} + I_{p}) .

$\mathbf{x}\sim \mathcal N(0,\lambda \mathbf{w}\mathbf{w}^T + \mathbf{I}_p).$

w

$\mathbf{w}$ . Đây được gọi là mô hình hiệp phương sai, thường được sử dụng trong tài liệu PCA. Vấn đề ước tính đúng

w

$\mathbf{w}$ có thể được giải quyết bằng cách tối đa hóa

Var (X w)

$\operatorname{Var} (\mathbf{Xw})$ trên

w

$\mathbf{w}$ trên phạm vi đơn vị.

Như @amoeba đã chỉ ra trong câu trả lời cho câu hỏi trước đó , việc giảm hồi quy thứ hạng, bình phương tối thiểu một phần và phân tích tương quan chính tắc có các công thức liên quan chặt chẽ với nhau,

$\begin{aligned} P C A : & Var (X w), \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v), \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v), \\ C C A : & {Corr}^{2} (X w, Y v) . \end{aligned}$ $\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}),\\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}),\\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv}),\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}). \end{align}$

Câu hỏi là, các mô hình xác suất đằng sau RRR, PLS và CCA là gì? Cụ thể, tôi đang suy nghĩ vềLàm thế nào phụ thuộc vào và trong RRR, PLS và CCA? Hơn nữa, có một mô hình xác suất thống nhất (như mô hình hiệp phương sai cho PCA) cho họ không?

(x^{T}, y^{T})^{T} \sim N (0, Σ) .

$(\mathbf{x}^T, \mathbf{y}^T)^T \sim \mathcal N(0, \mathbf{\Sigma}).$

Σ

$\mathbf{\Sigma}$

w

$\mathbf{w}$

v

$\mathbf{v}$

— Chồn
nguồn

Xin chào @Moskowitz. Là câu trả lời của tôi đi theo hướng mà bạn đã hy vọng? Tôi có thể thấy rằng nó không trả lời đầy đủ câu hỏi của bạn, nhưng tôi sẽ rất vui khi nhận được một số phản hồi và cũng quan tâm để biết suy nghĩ của bạn về nó. Tôi có thể mở rộng mô tả về PCCA nếu bạn muốn; "PPLS" không thực sự tồn tại là điều mà tôi đã nghĩ về nó vài năm trước và thấy mình suy nghĩ lại. Vì vậy, sẽ tò mò để nghe suy nghĩ của bạn về nó.

— amip

Xin chào @amoeba. Cảm ơn rất nhiều cho câu trả lời. Xin lỗi vì đã ngừng trả lời. Tôi đã suy nghĩ về việc xem PPLS như một mô hình nhiều chế độ xem khác nhau, trong đó hai biến x có phân phối khác nhau, nhưng không thành công lắm. Tôi sẽ cố gắng thêm vào câu trả lời của bạn nếu tôi có thể tìm ra;)

— Minkov

Phân tích tương quan chính tắc xác suất (CCA xác suất, PCCA) đã được giới thiệu trong Bach & Jordan, 2005, Giải thích xác suất phân tích tương quan Canonical , vài năm sau khi Tipping & Bishop trình bày phân tích thành phần chính xác suất của họ (PCA xác suất, PPCA).

Rất ngắn gọn, nó dựa trên mô hình xác suất sau:

\begin{aligned} z & \sim N (0, I) \\ x | z & \sim N (W_{x} z + μ_{x}, Ψ_{x}) \\ y | z & \sim N (W_{y} z + μ_{y}, Ψ_{y}) \end{aligned}

$\begin{align} \newcommand{\z}{\mathbf z} \newcommand{\x}{\mathbf x} \newcommand{\y}{\mathbf y} \newcommand{\m}{\boldsymbol \mu} \newcommand{\P}{\boldsymbol \Psi} \newcommand{\S}{\boldsymbol \Sigma} \newcommand{\W}{\mathbf W} \newcommand{\I}{\mathbf I} \newcommand{\w}{\mathbf w} \newcommand{\u}{\mathbf u} \newcommand{\0}{\mathbf 0} \z &\sim \mathcal N(\0,\I) \\ \x|\z &\sim \mathcal N(\W_x \z + \boldsymbol \m_x, \P_x)\\ \y|\z &\sim \mathcal N(\W_y \z + \boldsymbol \m_y, \P_y) \end{align}$

Ở đây hiệp phương sai và là các ma trận đối xứng thứ hạng đầy đủ tùy ý. $\P_x$ $\P_y$

Nếu chúng ta xem xét biến tiềm ẩn 1 chiều , giả sử rằng tất cả các phương tiện đều bằng 0 và kết hợp và thành một vectơ, thì chúng ta sẽ nhận được: $z$ $\m_x=\m_y=0$ $\x$ $\y$

(\begin{matrix} x \\ y \end{matrix}) \sim N (0, Σ), Σ = (\begin{matrix} w_{x} w_{x}^{⊤} + Ψ_{x} & w_{x} w_{y}^{⊤} \\ w_{y} w_{x}^{⊤} & w_{y} w_{y}^{⊤} + Ψ_{y} \end{matrix}) .

$\begin{pmatrix} \x\\ \y\end{pmatrix}\sim\mathcal N (\0,\S),\quad\quad\quad\S=\begin{pmatrix}\w_x\w_x^\top+\P_x & \w_x\w_y^\top \\ \w_y\w_x^\top & \w_y\w_y^\top+\P_y\end{pmatrix}.$

Bach & Jordan đã chứng minh rằng điều này tương đương với CCA tiêu chuẩn. Cụ thể, tối đa khả năng (ML) giải pháp được đưa ra bởi nơi là ma trận hiệp phương sai mẫu của cả hai tập hợp dữ liệu, là cặp kinh điển đầu tiên của trục, và là tùy ý các số (cả từ đến ) đưa ra mối tương quan chính tắc đầu tiên dưới dạng sản phẩm.

w_{i} = Σ_{i} u_{i} m_{i},

$\w_i = \S_i\u_i m_i,$

Σ_{i}

$\S_i$

u_{i}

$\u_i$

m_{x} m_{y} = ρ_{1}

$m_x m_y = \rho_1$

0

$0$

1

$1$

Như bạn thấy, không trực tiếp bằng các trục CCA, nhưng được đưa ra bởi một số biến đổi của chúng. Xem Bach & Jordan để biết thêm chi tiết. $\w_i$

Tôi không nắm bắt trực quan tốt về PCCA. Như bạn có thể thấy, ma trận hiệp phương sai giữa và được mô hình hóa bởi , do đó, người ta có thể ngây thơ mong đợi sẽ tạo ra các trục PLS. Tuy nhiên, giải pháp ML có liên quan đến các trục CCA. Có lẽ bằng cách nào đó do cấu trúc khối chéo của . $X$ $Y$ $\w_x \w_y^\top$ $\w_i$ $\P=\begin{pmatrix}\P_x & \0\\ \0 & \P_y\end{pmatrix}$

Tôi không biết về bất kỳ phiên bản xác suất tương tự nào của RRR hoặc PLS, và đã không tự mình đưa ra bất kỳ phiên bản nào. Lưu ý rằng nếu là đường chéo thì chúng ta thu được FA trên tập dữ liệu kết hợp và nếu đó là đường chéo và đẳng hướng thì chúng ta sẽ có PPCA trên tập dữ liệu kết hợp. Vì vậy, có một sự tiến triển từ CCA sang FA sang PPCA, vì ngày càng bị hạn chế. Tôi không thấy những lựa chọn nào khác của có thể hợp lý. $\P$ $X+Y$ $\P$ $\P$

— amip
nguồn

Nói tóm lại: "isotropic" trong câu cuối cùng thứ hai của bạn là gì?

— Gottfried Helms

@Gottfried, nó có nghĩa là nó là đường chéo và tất cả các yếu tố trên đường chéo đều bình đẳng, tức là . Tôi sẽ chỉnh sửa để làm rõ.

\P = σ^{2} \I

$\P = \sigma^2 \I$

— amip

Tôi hiểu rồi, cảm ơn. Tôi đã thực hiện một cấu trúc như vậy trong chương trình pca / yếu tố của tôi mà không biết tên của nó, dựa trên một gợi ý của S. Mulaik trong cuốn sách năm 1972 của ông. Những điều cần biết ...

— Gottfried Helms