Lấy thuật toán K-nghĩa là giới hạn tối đa hóa kỳ vọng cho các hỗn hợp Gaussian

Christopher Bishop xác định giá trị mong đợi của hàm khả năng ghi nhật ký dữ liệu hoàn chỉnh (nghĩa là giả sử rằng chúng tôi được cung cấp cả dữ liệu quan sát X cũng như dữ liệu tiềm ẩn Z) như sau:

\begin{matrix} (1) & E_{Z} [\ln p (X, Z ∣ μ, Σ, π)] = \sum_{n = 1}^{N} \sum_{k = 1}^{K} γ (z_{n k}) {\ln π_{k} + \ln N (x_{n} ∣ μ_{k}, Σ_{k})} \end{matrix}

$\mathbb{E}_\textbf{Z}[\ln p(\textbf{X},\textbf{Z} \mid \boldsymbol{\mu}, \boldsymbol{\Sigma}, \boldsymbol{\pi})] = \sum_{n=1}^N \sum_{k=1}^K \gamma(z_{nk})\{\ln \pi_k + \ln \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)\} \tag 1$

trong đó $\gamma(z_{nk})$ được định nghĩa là:

\begin{matrix} (2) & \frac{π_{k} N (x_{n} ∣ μ_{k}, Σ_{k})}{\sum_{j = 1}^{K} π_{j} N (x_{n} ∣ μ_{j}, Σ_{j})} \end{matrix}

$\frac{\pi_k \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)}{\sum_{j=1}^K \pi_j \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_j, \boldsymbol{\Sigma}_j)} \tag 2$

Ý tưởng, như được mô tả, là xem xét Mô hình hỗn hợp Gaussian trong đó các ma trận hiệp phương sai của các thành phần hỗn hợp được đưa ra bởi , trong đó là một tham số phương sai được chia sẻ bởi tất cả các thành phần, như vậy cái đó: $\epsilon \textbf{I}$ $\epsilon$

\begin{matrix} (3) & p (x ∣ μ_{k}, Σ_{k}) = \frac{1}{(2 π ϵ)^{\frac{M}{2}}} \exp {- \frac{1}{2 ϵ} ‖ x - μ_{k} ‖^{2}} \end{matrix}

$p(\textbf x \mid \boldsymbol \mu_k, \boldsymbol \Sigma_k) = \frac{1}{(2 \pi \epsilon)^\frac{M}{2}} \exp\big\{{-\frac{1}{2 \epsilon} \|\textbf x - \boldsymbol \mu_k\|^2}\big\} \tag 3$

và vì vậy, $\gamma(z_{nk})$ hiện được định nghĩa là:

\begin{matrix} (4) & \frac{π_{k} \exp {- ‖ x_{n} - μ_{k} ‖^{2} / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {- ‖ x_{n} - μ_{j} ‖^{2} / 2 ϵ}} \end{matrix}

$\frac{\pi_k \exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \| \textbf x_n - \boldsymbol \mu_j\|^2 / 2 \epsilon\}} \tag 4$

Đối số bây giờ là như sau:

nếu chúng ta xem xét giới hạn , chúng ta sẽ thấy rằng trong mẫu số, thuật ngữ mà là nhỏ nhất, sẽ chuyển sang 0 chậm nhất và do đó, các trách nhiệm cho điểm dữ liệu đều chuyển sang 0 trừ thuật ngữ j, trách nhiệm sẽ được thống nhất. Do đó, trong giới hạn này, chúng tôi có được sự gán cứng các điểm dữ liệu cho các cụm, giống như trong thuật toán -means, sao cho $\epsilon \to 0$ $\| \textbf x_n - \boldsymbol \mu_j\|^2$ $\gamma(z_{nk})$ $\textbf x_n$ $\gamma(z_{nk})$ $K$ $\gamma(z_{nk}) \to r_{nk}$

trong đó được định nghĩa là: $r_{nk}$

\begin{matrix} (5) & f (n) = {\begin{cases} 1 & if k = arg {min}_{j} ‖ x_{n} - μ_{j} ‖^{2} \\ 0 & otherwise \end{cases} \end{matrix}

$\begin{equation*} f(n) = \begin{cases} 1 & \text{if } k = \text{arg } \text{min}_j \|\textbf x_n - \boldsymbol \mu_j\|^2\\ 0 & \text{otherwise}\\ \tag 5 \end{cases} \end{equation*}$

Câu hỏi của tôi là làm thế nào để lập luận trên giữ? Cụ thể, nghĩa của một thuật ngữ chuyển sang zero gì? Và làm thế nào để đưa giới hạn trong eqn dẫn đến trách nhiệm nhị phân? $\textbf{most slowly}$ $\epsilon \to 0$ $4$

— BitRiver
nguồn

Khi về 0, đi về 0 đối với mọi nhưng ở tốc độ khác nhau tùy thuộc vào , nhỏ nhất sau đó thu thập toàn bộ trọng lượng trong giới hạn.

ϵ

$\epsilon$

\exp {- ‖ x_{n} - μ_{k} ‖^{2} / 2 ϵ} = \exp {- δ_{n} / ϵ}

$\exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}=\exp\{-\delta_n/\epsilon\}$

n

$n$

δ_{n}

$\delta_n$

δ_{n}

$\delta_n$

— Tây An

(giải thích thêm) Nếu bạn lấy là nhỏ nhất , bạn có thể viết lại tất cả các thuật ngữ dưới dạng , có nghĩa là tất cả các thuật ngữ đều về 0 ngoại trừ một, một trong đó .

δ^{*}

$\delta^*$

δ_{n}

$\delta_n$

\exp {(δ^{*} - δ_{n}) / ϵ}

$\exp\{(\delta^*-\delta_n)/\epsilon\}$

ϵ

$\epsilon$

δ^{*} - δ_{n} = 0

$\delta^*-\delta_n=0$

— Tây An

@ Xi'an Bạn có quan tâm để cung cấp thêm chi tiết? Bạn có ý nghĩa gì "nhỏ nhất sau đó thu thập toàn bộ trọng lượng trong giới hạn"? Và thuật ngữ mà = 0 đánh giá như thế nào để thống nhất? Ý tôi là, tử số là 0, phải không?

δ_{n}

$\delta_n$

δ^{*} - δ_{n}

$\delta^* - \delta_n$

— BitRiver

Hãy để chúng tôi viết Sau đó Nếu chúng tôi dùng chúng tôi có trong đó ngoại trừ trong đó

‖ x_{n} - μ_{k} ‖^{2} = δ_{k} .

$\|\textbf x_n - \boldsymbol \mu_k\|^2=\delta_k\,.$

\frac{π_{k} \exp {- ‖ x_{n} - μ_{k} ‖^{2} / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {- ‖ x_{n} - μ_{j} ‖^{2} / 2 ϵ}} = \frac{π_{k} \exp {- δ_{k} / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {- δ_{j} / 2 ϵ}}

$\frac{\pi_k \exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \| \textbf x_n - \boldsymbol \mu_j\|^2 / 2 \epsilon\}}=\frac{\pi_k \exp\{ - \delta_k/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \delta_j/ 2 \epsilon\}}$

δ^{*} = min_{n} δ_{n},

$\delta^*=\min_n\delta_n\,,$

\begin{aligned} \frac{π_{k} \exp {- δ_{k} / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {- δ_{j} / 2 ϵ}} & = \frac{π_{k} \exp {(δ^{*} - δ_{k}) / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {(δ^{*} - δ_{j}) / 2 ϵ}} \end{aligned}

$\begin{align*} \frac{\pi_k \exp\{ - \delta_k/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \delta_j/ 2 \epsilon\}}&=\frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}} \end{align*}$

δ^{*} - δ_{k} < 0

$\delta^*-\delta_k<0$

k = k^{*}

$k=k^*$

δ^{*} - δ_{k^{*}} = 0

$\delta^*-\delta_{k^*}=0$ . Vì vậy, với tất cả , kể từ, đối với , trong khi

k \neq k^{*}

$k\ne k^*$

lim_{ϵ \to 0} \frac{π_{k} \exp {(δ^{*} - δ_{k}) / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {(δ^{*} - δ_{j}) / 2 ϵ}} = lim_{ϵ \to 0} \frac{π_{k} \exp {(δ^{*} - δ_{k}) / 2 ϵ}}{π_{k^{*}} + \sum_{j \neq k^{*}} π_{j} \exp {(δ^{*} - δ_{j}) / 2 ϵ}} = 0

$\lim_{\epsilon\to 0} \frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=\lim_{\epsilon\to 0} \frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\pi_{k^*}+\sum_{j\ne k^*} \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=0$

a > 0

$a>0$

lim_{ϵ \to 0} \exp {- a / ϵ} = 0

$\lim_{\epsilon\to 0}\exp\{-a/\epsilon \}=0$

lim_{ϵ \to 0} \frac{π_{k^{*}} \exp {(δ^{*} - δ_{k^{*}}) / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {(δ^{*} - δ_{j}) / 2 ϵ}} = lim_{ϵ \to 0} \frac{π_{k^{*}} \times 1}{π_{k^{*}} + \sum_{j \neq k^{*}} π_{j} \exp {(δ^{*} - δ_{j}) / 2 ϵ}} = 1

$\lim_{\epsilon\to 0} \frac{\pi_{k^*} \exp\{(\delta^*- \delta_{k^*})/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=\lim_{\epsilon\to 0} \frac{\pi_{k^*} \times 1}{\pi_{k^*}+\sum_{j\ne k^*} \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=1$

— Tây An
nguồn