Tại sao tối ưu hóa một hỗn hợp Gaussian trực tiếp khó tính toán?

18

Xem xét khả năng đăng nhập của hỗn hợp Gaussian:

l (S_{n}; θ) = \sum_{t = 1}^{n} \log f (x^{(t)} | θ) = \sum_{t = 1}^{n} \log {\sum_{i = 1}^{k} p_{i} f (x^{(t)} | μ^{(i)}, σ_{i}^{2})}

$l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\}$

Tôi đã tự hỏi tại sao nó khó tính toán để tối đa hóa phương trình đó trực tiếp? Tôi đang tìm kiếm một trực giác vững chắc rõ ràng về lý do tại sao nó rõ ràng là khó hoặc có thể là một lời giải thích khắt khe hơn về lý do tại sao nó khó. Đây có phải là vấn đề NP-đầy đủ hay chúng ta chỉ không biết làm thế nào để giải quyết nó? Đây có phải là lý do chúng tôi sử dụng thuật toán EM ( kỳ vọng tối đa hóa )?

Ký hiệu:

$S_n$ = dữ liệu đào tạo.

$x^{(t)}$ = điểm dữ liệu.

$\theta$ = tập các thông số quy định cụ thể Gaussian, phương tiện của họ, độ lệch chuẩn và khả năng tạo ra một điểm từ mỗi cụm / lớp / Gaussian.

$p_i$ = xác suất tạo điểm từ cụm / lớp / Gaussian i.

machine-learning gaussian-mixture expectation-maximization

— Pinocchio
nguồn

14

Đầu tiên, GMM là một thuật toán cụ thể để phân cụm, trong đó bạn cố gắng tìm nhãn tối ưu cho các quan sát của mình . Có lớp có thể, nó có nghĩa là có labellings có thể có của dữ liệu huấn luyện của bạn. Điều này đã trở nên rất lớn đối với các giá trị vừa phải của và . $n$ $k$ $k^n$ $k$ $n$

Thứ hai, chức năng bạn đang cố gắng giảm thiểu không phải là lồi và cùng với kích thước của vấn đề của bạn, làm cho nó rất khó khăn. Tôi chỉ biết rằng k-mean (GMM có thể được xem là phiên bản mềm của kmeans) là NP-hard. Nhưng tôi không biết liệu nó đã được chứng minh cho GMM chưa.

Để thấy rằng vấn đề không phải là lồi, hãy xem xét trường hợp một chiều: và kiểm tra xem bạn có thể đảm bảo rằng

L = = đăng nhập (e^{- (x / σ_{1})^{2}} + e^{- (x / σ_{2})^{2}})

$L = \log \left(e^{-({x}/{\sigma_{1}})^2} + e^{-({x}/{\sigma_{2}})^2}\right)$

với mọi x.

\frac{d^{2} L}{d x^{2}} > 0

$\frac{d^2L}{dx^2} > 0$

Có một vấn đề không lồi có nghĩa là bạn có thể bị mắc kẹt trong cực tiểu địa phương. Nói chung, bạn không có sự bảo đảm mạnh mẽ mà bạn có trong tối ưu hóa lồi và việc tìm kiếm giải pháp cũng khó khăn hơn nhiều.

— chiều
nguồn

3

Về điểm thứ hai: phương tiện k có thể được xem là trường hợp đặc biệt của GMM (chính xác hơn là trường hợp giới hạn trong đó phương sai được đưa về 0). Nếu chúng ta có thể giảm phương tiện k để phù hợp với GMM, thì điều sau cũng phải là vấn đề NP-hard.

— Lucas

1

@Lucas: Đây là một liên kết Xác thực chéo để nhận xét của bạn.

— Tây An

7

Ngoài các điểm của juampa, hãy để tôi báo hiệu những khó khăn đó:

Chức năng là vô biên, do đó tối đa đúng là và tương ứng với (ví dụ) và . Do đó, một maximiser thực sự sẽ kết thúc với giải pháp này, không hữu ích cho mục đích ước tính. $l(\theta|S_n)$ $+\infty$ $\hat\mu^{(i)}=x_1$ $\hat\sigma_i=0$
$k^n$ $l(\theta|S_n)$ $\theta$

lấy từ cuốn sách của tôi .

Một nhận xét bổ sung: không gọi thuật toán EM, người ta có thể sử dụng thuật toán tối ưu hóa tiêu chuẩn (như Newton-Raphson) một tham số tại một thời điểm, đó là lặp đi lặp lại

$\theta_1^\prime=\arg\max_{\theta_1} l(\theta|S_n)$
$\theta_2^\prime=\arg\max_{\theta_2} l(\theta_1^\prime,\theta_{-1}|S_n)$
...
$\theta_v^\prime=\arg\max_{\theta_v} l(\theta_{-v}^\prime,\theta_v|S_n)$

$v$ $l(\theta|S_n)$

— Tây An
nguồn

OK, L không bị ràng buộc nếu phương sai bằng 0. Nhưng nếu chúng ta loại trừ chúng khỏi các tham số có thể (vì vậy chúng ta giả sử tất cả phương sai> 0), thì L sẽ không quá cao bất cứ khi nào phương sai được chọn vô hạn (vì các điểm khác). Tôi có đúng không Sau đó, đối với tập hợp các tham số có thể này, L sẽ bị chặn và điều này sẽ ngụ ý rằng thuật toán EM hội tụ (tăng chuỗi giới hạn).

— ahstat

@ahstat: giả sử phương sai hoàn toàn tích cực không ngăn EM hội tụ thành giải pháp thoái hóa nếu bắt đầu đủ gần.

— Tây An