K-có nghĩa là trường hợp giới hạn của thuật toán EM cho các hỗn hợp Gaussian với hiệp phương sai

$\sigma^2 I$ $\lim_{\sigma \to 0}$

Giả sử chúng ta có một tập hợp dữ liệu quan sát của biến ngẫu nhiên . Hàm mục tiêu cho phương tiện M được cho bởi: trong đó là biến chỉ thị nhị phân của một phép gán cứng cho cụm . (nếu điểm dữ liệu được gán cho cụm , thì và cho k). Thuật toán K có nghĩa là tối thiểu hóa thông qua việc lặp lại cho đến khi hội tụ, bao gồm hai bước liên tiếp: (E) tối thiểu hóa $\{x_1, \dots ,x_N\}$ $X$

J = \sum_{n = 1}^{N} \sum_{k = 1}^{K} r_{n k} | | x_{n} - μ_{k} | |^{2}

$J = \sum_{n=1}^{N}\sum_{k=1}^{K} r_{nk} ||x_n - \mu_k ||^2$

r_{n k}

$r_{nk}$

x_{n}

$x_n$

k

$k$

x_{n}

$x_n$

k

$k$

r_{n k} = 1

$r_{nk} = 1$

r_{n j} = 0

$r_{nj} = 0$

j \neq

$j \ne$

J

$J$

J

$J$ đối với với giữ tất cả cố định (M) giảm thiểu đối với với giữ tất cả cố định

{r_{n k}}_{n, k}

$\{r_{nk}\}_{n,k}$

μ_{k}

$\mu_k$

J

$J$

{μ_{k}}_{k}

$\{\mu_k\}_k$

r_{n k}

$r_{nk}$

Nói chung, biểu thị tất cả dữ liệu được quan sát bởi , tất cả các biến tiềm ẩn theo và tập hợp tất cả các tham số mô hình theo , thuật toán EM tối đa hóa phân phối sau thông qua lặp cho đến khi hội tụ, trong hai bước xen kẽ: (E ) tính toán kỳ vọng (M) find $X$ $Z$ $\theta$ $p(\theta | X)$
$Q(\theta, \theta^{\text{old}}) := \sum_{Z}p(Z | X, \theta^{\text{old}})\log p(Z,X|\theta)$
$\theta^{\text{new}} = \arg \max_{\theta} Q(\theta, \theta^{\text{old}})$

Bây giờ hãy xem xét phân phối hỗn hợp Gaussian: Giới thiệu biến ngẫu nhiên nhị phân theo , chúng tôi thấy rằng: Vì vậy

p (x) = \sum_{k = 1}^{K} π_{k} N (x | μ_{k}, Σ_{k})

$p(x) = \sum_{k=1}^K \pi_k N(x | \mu_k, \Sigma_k)$

K

$K$

z

$z$

p (z_{k} = 1) = π_{k}

$p(z_k = 1) = \pi_k$

p (X, Z) = \prod_{n = 1}^{N} \prod_{k = 1}^{K} π_{k}^{z_{n k}} N (x_{n} | μ_{k}, Σ_{k})^{z_{n k}}

$p(X, Z) = \prod_{n=1}^N\prod_{k=1}^K \pi_k^{z_{nk}} N(x_n | \mu_k, \Sigma_k)^{z_{nk}}$

γ (z_{k}) := p (z_{k} = 1 | x) = \frac{π_{k} N (x | μ_{k}, Σ_{k})}{\sum_{j = 1}^{K} π_{j} N (x | μ_{j}, Σ_{j})}

$\gamma(z_k) := p(z_k = 1 | x) = \frac{\pi_k N(x| \mu_k, \Sigma_k)}{\sum_{j=1}^{K} \pi_j N(x | \mu_j, \Sigma_j)}$

\log p (X, Z | μ, Σ, π) = \sum_{n = 1}^{N} \sum_{k = 1}^{K} z_{n k} (\log π_{k} + \log N (x_{n} | μ_{k}, Σ_{k}))

$\log p(X,Z | \mu, \Sigma, \pi) = \sum_{n=1}^N \sum_{k=1}^K z_{nk}(\log \pi_k + \log N(x_n| \mu_k, \Sigma_k))$

E (z_{n k}) = γ (z_{n k})

$\mathbb{E}(z_{nk}) = \gamma(z_{nk})$

Q ((π, μ, Σ), (π, μ, Σ)^{old}) = \sum_{n = 1}^{N} \sum_{k = 1}^{K} γ (z_{n k}) (\log π_{k} + \log N (x_{n} | μ_{k}, Σ_{k}))

$Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}}) = \sum_{n=1}^N \sum_{k=1}^K \gamma(z_{nk})(\log \pi_k + \log N(x_n| \mu_k, \Sigma_k))$

Nếu bây giờ tất cả các Gaussian trong mô hình hỗn hợp có hiệp phương sai , xem xét giới hạn Tôi có thể dễ dàng hiển thị rằng trong đó là định nghĩa ở trên. Vì vậy, thực sự bước (E) cập nhật như trong thuật toán K-mean. $\sigma^2 I$ $\sigma \to 0$ $\gamma(z_{nk}) \to r_{nk}$ $r_{nk}$ $r_{nk}$

Tuy nhiên, tôi gặp vấn đề với tối đa hóa trong ngữ cảnh này, như đối với . Có đúng không, với một số nhân vô hướng và vô hướng: ? $Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}})$ $x \ne \mu$ $\lim_{\sigma \to 0} log(N(x|\mu,\sigma^2)) = - \infty$
$\lim_{\sigma \to 0} Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}}) = -J$

Có lẽ tôi đang thiếu một cái gì đó. Có lời khuyên nào không?

— Andrzej Neugebauer
nguồn

Chào mừng đến với trang web, @Andrzej. Vui lòng gửi câu hỏi đầy đủ - không ngoại lệ rằng mọi người sẽ tìm kiếm sách của bạn.

— StasK

Gửi StasK, tôi vừa đăng câu hỏi đầy đủ và hy vọng nó đã rõ ràng.

— Andrzej Neugebauer

Có đúng là một số nhân vô hướng và vô hướng: ? $\lim_{\sigma \to 0} Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}}) = -J$

Đây không phải là trường hợp vì - như bạn quan sát chính mình - giới hạn phân kỳ.

Tuy nhiên, nếu trước tiên chúng ta biến đổi và sau đó lấy giới hạn, chúng ta sẽ hội tụ đến mục tiêu k-mean. Với và chúng ta có $Q$ $\Sigma_k = \sigma^2 I$ $\pi_k = 1/K$

\begin{aligned} Q & = \sum_{n, k} γ_{n k} (\log π_{k} + \log N (x_{n} ∣ μ_{k}, Σ_{k})) \\ = N \log \frac{1}{K} - \frac{1}{σ^{2}} \sum_{n, k} γ_{n k} | | x_{n} - μ_{k} | |^{2} - N \frac{D}{2} \log 2 π σ^{2} . \end{aligned}

$\begin{align} Q &= \sum_{n,k} \gamma_{nk} \left( \log \pi_k + \log N(x_n \mid \mu_k, \Sigma_k) \right) \\ &= N \log\frac{1}{K} - \frac{1}{\sigma^2} \sum_{n,k} \gamma_{nk} ||x_n - \mu_k||^2 - N \frac{D}{2} \log 2\pi\sigma^2. \end{align}$

Nhân với (không ảnh hưởng đến thuật toán EM, vì không được tối ưu hóa nhưng không đổi) và thu thập tất cả các thuật ngữ không đổi trong , chúng tôi thấy rằng Lưu ý rằng tối đa hóa chức năng này đối với cho bất kỳ và cho cùng kết quả là hàm mục tiêu ở trên, nghĩa là, nó là một công thức tương đương của bước M. Nhưng lấy giới hạn bây giờ mang lại . $\sigma^2$ $\sigma$ $C$

\begin{aligned} Q & \propto - \sum_{n, k} γ_{n k} | | x_{n} - μ_{k} | |^{2} + σ^{2} C . \end{aligned}

$\begin{align} Q &\propto - \sum_{n,k} \gamma_{nk} ||x_n - \mu_k||^2 + \sigma^2 C. \end{align}$

μ

$\mu$

γ

$\gamma$

σ

$\sigma$

- J

$-J$

Bên cạnh đó, một công thức EM thanh lịch hơn một chút là sử dụng hàm mục tiêu Sử dụng hàm mục tiêu này, thuật toán EM sẽ thay thế giữa tối ưu hóa liên quan đến (bước M) và (bước E). Lấy giới hạn, chúng ta thấy rằng cả bước M và bước E đều hội tụ với thuật toán k-mean.

\begin{aligned} F (μ, γ) & = \sum_{n, k} γ_{n k} \log π_{k} N (x_{n} ∣ μ_{k}, Σ_{k}) / γ_{n k} \\ \propto - \sum_{n, k} \sum_{n, k} γ_{n k} | | x_{n} - μ_{k} | |^{2} - σ^{2} \sum_{n, k} γ_{n k} \log γ_{n k} + σ^{2} C . \end{aligned}

$\begin{align} F(\mu, \gamma) &= \sum_{n,k} \gamma_{nk} \log \pi_k N(x_n \mid \mu_k, \Sigma_k)/\gamma_{nk} \\ &\propto -\sum_{n,k} \sum_{n, k} \gamma_{nk} ||x_n - \mu_k||^2 - \sigma^2 \sum_{n,k} \gamma_{nk} \log \gamma_{nk} + \sigma^2 C. \end{align}$

F

$F$

μ

$\mu$

γ

$\gamma$

Xem thêm một cái nhìn khác về EM .

— Lucas
nguồn