Mối quan hệ giữa Bayes và EM

Tôi đã đọc ở đâu đó rằng phương pháp Variational Bayes là một khái quát của thuật toán EM. Thật vậy, các phần lặp của các thuật toán rất giống nhau. Để kiểm tra xem thuật toán EM có phải là phiên bản đặc biệt của Biến thể Bay không, tôi đã thử như sau:

$Y$ là dữ liệu, là tập hợp các biến tiềm ẩn và là tham số. Trong Variational Bayes, chúng ta có thể tạo một xấp xỉ sao cho . Trong đó s đơn giản hơn, phân phối dễ điều khiển. $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
Vì thuật toán EM tìm thấy ước tính điểm MAP, tôi nghĩ rằng Biến thể Bay có thể hội tụ thành EM nếu tôi sử dụng Hàm Delta sao cho: . là ước tính đầu tiên cho các tham số như thường được thực hiện trong EM. $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
Khi được đưa ra, giúp giảm thiểu phân kỳ KL được tìm thấy bởi công thức Công thức trên đơn giản hóa thành , bước này hóa ra tương đương với bước Mong đợi của thuật toán EM! $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$
$Q_{X}^{1} (X) = = \frac{điểm kinh nghiệm (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int điểm kinh nghiệm (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

Nhưng tôi không thể lấy được bước Tối đa hóa khi tiếp tục điều này. Trong bước tiếp theo, chúng ta cần tính và theo quy tắc lặp Variational Bayes, đây là: $Q^2_\Theta(\Theta)$

Q_{Θ}^{2} (Θ) = = \frac{điểm kinh nghiệm (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)])}{\int điểm kinh nghiệm (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

Các thuật toán VB và EM có thực sự được kết nối theo cách này không? Làm thế nào chúng ta có thể lấy EM là một trường hợp đặc biệt của Bay Variational, cách tiếp cận của tôi có đúng không?

bayesian expectation-maximization variational-bayes

— Ufuk Can bicici
nguồn

Bạn đã đọc thuật toán EM tìm thấy ước tính MAP ở đâu? Mối quan hệ giữa suy luận đa dạng và EM sẽ trở nên rõ ràng khi bạn hiểu quan điểm về EM được trình bày trong bài viết này của Neal & Hinton (1998) . Xem thêm câu trả lời của tôi ở đây .

— Lucas

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

Tôi tìm thấy trong trang 21 của bài thuyết trình cs.cmu.edu/~tom/10-702/Zoubin-702.pdf một so sánh về EM và VB đã được hiển thị, tương tự bằng cách sử dụng hàm Dirac. Nhưng làm thế nào VB giảm xuống EM không được đưa ra.

— Ufuk Can bicici

$\Theta$ $\Theta^*$

Q_{Θ} (Θ) = = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q | | P) = = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P (X, Y, Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

Tất nhiên, nếu bạn thực sự đánh giá phân kỳ KL, nó sẽ là vô hạn. Nhưng đó không phải là vấn đề nếu bạn coi hàm delta là giới hạn.

— Tom chồn
nguồn

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Yibo Yang