Tại sao có một E trong thuật toán tên EM?

Tôi hiểu bước E xảy ra trong thuật toán (như được giải thích trong phần toán học bên dưới). Trong suy nghĩ của tôi, sự khéo léo chính của thuật toán là việc sử dụng bất đẳng thức của Jensen để tạo ra một giới hạn thấp hơn cho khả năng đăng nhập. Theo nghĩa đó, việc Expectationthực hiện đơn giản được thực hiện để điều chỉnh khả năng nhật ký phù hợp với bất đẳng thức của Jensen (tức là cho hàm lõm.) $E(f(x)) < f(E(x))$

Có một lý do tại sao bước E được gọi là? Có bất kỳ ý nghĩa nào đối với điều mà chúng ta đang mong đợi (ví dụ như không? Tôi cảm thấy như mình đang thiếu một số trực giác đằng sau lý do tại sao Kỳ vọng lại rất quan trọng, thay vì chỉ đơn giản là sự cố sử dụng bất đẳng thức của Jensen. $p(x_i, z_i| \theta)$

EDIT: Một hướng dẫn nói:

Tên 'Bước E' xuất phát từ thực tế là người ta thường không cần phải hình thành phân phối xác suất trên các lần hoàn thành một cách rõ ràng, mà chỉ cần tính toán 'số liệu thống kê đầy đủ' dự kiến cho các lần hoàn thành này.

Điều đó có nghĩa là "người ta thường không cần phải hình thành phân phối xác suất trên các lần hoàn thành một cách rõ ràng"? Phân phối xác suất đó sẽ như thế nào?

Phụ lục: Bước E trong thuật toán EM

\begin{aligned} l l & = \sum_{i} \log p (x_{i}; θ) & definition of log likelihood \\ = \sum_{i} \log \sum_{z_{i}} p (x_{i}, z_{i}; θ) & augment with latent variables z \\ = \sum_{i} \log \sum_{z_{i}} Q_{i} (z_{i}) \frac{p (x_{i}, z_{i}; θ)}{Q_{i} (z_{i})} & Q_{i} is a distribution for z_{i} \\ = \sum_{i} \log E_{z_{i}} [\frac{p (x_{i}, z_{i}; θ)}{Q_{i} (z_{i})}] & taking expectations - hence the E in EM \\ \geq \sum E_{z_{i}} [\log \frac{p (x_{i}, z_{i}; θ)}{Q_{i} (z_{i})}] & Using Jensen's rule for \log which is concave \\ \geq \sum_{i} \sum_{z_{i}} Q_{i} (z_{i}) \log \frac{p (x_{i}, z_{i}; θ)}{Q_{i} (z_{i})} & Q function to maximize \end{aligned}

$\begin{align} ll &= \sum_i{\log p(x_i; \theta)} && \text{definition of log likelihood} \\ &= \sum_i \log \sum_{z_i}{p(x_i, z_i; \theta)} && \text{augment with latent variables $z$} \\ &= \sum_i \log \sum_{z_i} Q_i(z_i) \frac{p(x_i, z_i; \theta)}{Q_i(z_i)} && \text{$Q_i$ is a distribution for $z_i$} \\ &= \sum_i \log E_{z_i}[\frac{p(x_i, z_i; \theta)}{Q_i(z_i)}] && \text{taking expectations - hence the E in EM} \\ &\geq \sum E_{z_i}[\log \frac{p(x_i, z_i; \theta)}{Q_i(z_i)}] && \text{Using Jensen's rule for $\log$ which is concave} \\ &\geq \sum_i \sum_{z_i} Q_i(z_i) \log \frac{p(x_i, z_i; \theta)}{Q_i(z_i)} && \text{Q function to maximize} \end{align}$

— Heisenberg
nguồn

Tôi không rõ bạn đang hỏi gì, nhưng tôi luôn cho rằng sự liên quan đằng sau việc đặt tên E-step là ở một khía cạnh nào đó, bạn đang "điền" hoặc "bỏ qua" bị thiếu bằng cách kỳ vọng. Cấp, đây không chính xác là những gì đang xảy ra bởi vì bạn đang dùng không giống với việc cắm một cái gì đó cho thiếu các giá trị , nhưng hoạt động thường kết thúc một việc như thế. Nếu chúng ta đang thực hiện tăng dữ liệu - tương tự như EM ở nhiều khía cạnh.

z

$z$

E_{θ} [\log p (x, Z; θ^{'}) ∣ X = x]

$E_\theta [\log p(x, Z; \theta') \mid X = x]$

Z

$Z$

— anh chàng

Vâng, đây là loại thảo luận tôi muốn có. Vì vậy, khi bạn nói không hợp lý z bằng cách kỳ vọng ". Kỳ vọng về điều gì? Ngoài ra, bạn có nghĩa là thay vì ?

E_{z}

$E_z$

E_{θ}

$E_\theta$

— Heisenberg

Sự dạy dỗ của tôi luôn là lập chỉ mục với tham số lập chỉ mục đo lường xác suất mà kỳ vọng đang được thực hiện đối với. Trong CS họ làm điều đó như bạn đang đề xuất. Tôi đang tích hợp , điều chỉnh trên dựa trên số đo được lập chỉ mục bởi .

E

$E$

Z

$Z$

X

$X$

θ

$\theta$

— anh chàng

Ví dụ, khi lắp các hỗn hợp Gaussian, bước E đã loại bỏ các chỉ số lớp bị thiếu. Nhưng nó làm như vậy một cách mờ nhạt bằng cách tính toán trách nhiệm cho mỗi quan sát.

— anh chàng

Câu trả lời:

Kỳ vọng là trung tâm của thuật toán EM. Để bắt đầu, khả năng được liên kết với dữ liệu được biểu thị dưới dạng kỳ vọng trong đó kỳ vọng nằm ở phân phối biên của vectơ tiềm ẩn . $(x_1,\ldots,x_n)$

\begin{aligned} p (x_{1}, \dots, x_{n}; θ) & = \int_{Z^{n}} p (x_{1}, \dots, x_{n}, z_{1}, \dots, z_{n}; θ) d z \\ = \int_{Z^{n}} p (x_{1}, \dots, x_{n} | z_{1}, \dots, z_{n}, θ) p (z_{1}, \dots, z_{n}; θ) d z \\ = E_{θ} [p (x_{1}, \dots, x_{n} | z_{1}, \dots, z_{n}, θ)] \end{aligned}

$\begin{align*} p(x_1,\ldots,x_n;\theta) &= \int_\mathfrak{{Z}^n} p(x_1,\ldots,x_n,\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta)\,\text{d}\mathbf{\mathfrak{z}}\\ &=\int_\mathfrak{{Z}^n} p(x_1,\ldots,x_n|\mathfrak{z}_1,\ldots,\mathfrak{z}_n,\theta)p(\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta)\,\text{d}\mathbf{\mathfrak{z}}\\ &=\mathbb{E}_\theta\left[ p(x_1,\ldots,x_n|\mathfrak{z}_1,\ldots,\mathfrak{z}_n,\theta)\right] \end{align*}$

(z_{1}, \dots, z_{n})

$(\mathfrak{z}_1,\ldots,\mathfrak{z}_n)$

Trực giác đằng sau EM cũng dựa trên một kỳ vọng. Vì không thể được tối ưu hóa trực tiếp, trong khi có thể nhưng phụ thuộc vào không quan sát được , ý tưởng là tối đa hóa thay vì khả năng đăng nhập hoàn chỉnh dự kiến ngoại trừ kỳ vọng này cũng phụ thuộc vào giá trị của , được chọn là , do đó, chức năng tối đa hóa (trong ) trong bước M: $\log p(x_1,\ldots,x_n;\theta)$ $\log p(x_1,\ldots,x_n,\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta)$ $\mathfrak{z}_i$

E [\log p (x_{1}, \dots, x_{n}, z_{1}, \dots, z_{n}; θ) | x_{1}, \dots, x_{n}]

$\mathbb{E}\left[ \log p(x_1,\ldots,x_n,\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta) \big| x_1,\ldots,x_n \right]$

θ

$\theta$

θ_{0}

$\theta_0$

θ

$\theta$

Q (θ_{0}, θ) = E_{θ_{0}} [\log p (x_{1}, \dots, x_{n}, z_{1}, \dots, z_{n}; θ) | x_{1}, \dots, x_{n}]

$Q(\theta_0,\theta)=\mathbb{E}_{\theta_0}\left[ \log p(x_1,\ldots,x_n,\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta) \big| x_1,\ldots,x_n \right]$ Sự bất bình đẳng của Jensen chỉ đến như một sự biện minh cho sự gia tăng khả năng quan sát được ở mỗi bước M.

— Tây An
nguồn

Cảm ơn đã giải thích. Vì phân phối sau của chúng tôi cho các vectơ tiềm ẩn thay đổi ở mỗi bước, nên

E_{θ} [p (x_{1}, \dots, x_{n}, z, \dots, z, θ)]

$E_\theta[p(x_1,\dots,x_n, \mathfrak{z}, \dots, \mathfrak{z}, \theta)]$

p (x; θ)

$p(x;\theta)$

p (x; θ)

$p(x;\theta)$

z

$z$ ở bước đó

— Heisenberg

xin lỗi tôi không hiểu câu hỏi: ở mỗi bước EM, giá trị của thay đổi và tăng lên. Điều này không có nghĩa là chức năng khả năng tự thay đổi.

E_{θ} [p (x_{1}, \dots, x_{n} | z_{1}, \dots, z_{n}, θ)]

$\mathbb{E}_\theta\left[ p(x_1,\ldots,x_n|\mathfrak{z}_1,\ldots,\mathfrak{z}_n,\theta)\right]$

— Tây An

Không ? Nếu RHS thay đổi theo niềm tin sau của chúng ta về vectơ tiềm ẩn, LHS có thay đổi không?

p (x_{1}, \dots, x_{n}; θ) = E_{θ} [p (x_{1}, \dots, x_{n} | z_{1}, \dots, z_{n}, θ)]

$p(x_1,\ldots,x_n;\theta) = \mathbb{E}_\theta\left[ p(x_1,\ldots,x_n|\mathfrak{z}_1,\ldots,\mathfrak{z}_n,\theta)\right]$

— Heisenberg

Danh tính này là trong câu trả lời của tôi. Cả hai bên có các giá trị khác nhau khi thay đổi. Tuy nhiên, trong phương trình này, không có khái niệm nào về niềm tin hậu thế vì (a) là cố định và (b) được coi là không đáng kể.

θ

$\theta$

θ

$\theta$

z_{i}

$\mathfrak{z}_i$

— Tây An

Ở mỗi lần lặp , bước E sử dụng để tính tích phânDo đó, hàm mục tiêu để tối đa hóa các thay đổi ở mỗi lần lặp . Điều này không nói gì về khả năng mục tiêu ban đầu chỉ phụ thuộc vào một .

t

$t$

p (z | x, θ_{t})

$p(\mathfrak{z}|x, \theta_t)$

Q (θ_{t}, θ) = E_{θ_{t}} [\log p (x_{1}, \dots, x_{n}, z_{1}, \dots, z_{n}; θ) | x_{1}, \dots, x_{n}] .

$Q(\theta_t,\theta)=\mathbb{E}_{\theta_t}\left[ \log p(x_1,\ldots,x_n,\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta) \big| x_1,\ldots,x_n \right].$

t

$t$

p (x_{1}, \dots, x_{n}; θ) = E_{θ} [p (x_{1}, \dots, x_{n} | z_{1}, \dots, z_{n}, θ)]

$p(x_1,\ldots,x_n;\theta) = \mathbb{E}_\theta\left[ p(x_1,\ldots,x_n|\mathfrak{z}_1,\ldots,\mathfrak{z}_n,\theta)\right]$

θ

$\theta$

— Tây An

Câu trả lời của Xi'an rất tốt, chỉ là một số phần mở rộng liên quan đến chỉnh sửa.

Tên 'Bước E' xuất phát từ thực tế là người ta thường không cần phải hình thành phân phối xác suất trên các lần hoàn thành một cách rõ ràng, mà chỉ cần tính toán 'số liệu thống kê đầy đủ' dự kiến cho các lần hoàn thành này.

Vì giá trị của không được quan sát, chúng tôi ước tính phân phối cho mỗi điểm dữ liệu như dữ liệu không quan sát được. Hàm Q là tổng khả năng nhật ký dự kiến trên $z$ $q_x(z)$ $x$ completions $q_x(z)$

Q (θ) = \sum_{x} E_{q_{x}} [\log p (x, z | θ)]

$Q(\theta)=\sum_x E_{q_x}[\log p(x,z|\theta)]$

Các đề cập probability distribution over completionsnên tham khảo . Đối với một số phân phối (đặc biệt là họ theo cấp số nhân, vì khả năng là ở dạng nhật ký của nó), chúng ta chỉ phải biết dự kiến (thay vì khả năng dự kiến) để tính toán và tối đa hóa . $p(x,z|\theta)$ sufficient statistics $Q(\theta)$

Có phần giới thiệu rất hay trong Chương 19.2 của Mô hình đồ họa xác suất.

— không
nguồn