Khoảng cách giữa hai hỗn hợp Gaussian để đánh giá các giải pháp cụm

11

Tôi đang chạy một mô phỏng nhanh để so sánh các phương pháp phân cụm khác nhau và hiện đang gặp khó khăn khi cố gắng đánh giá các giải pháp cụm.

Tôi biết các số liệu xác nhận khác nhau (nhiều số được tìm thấy trong cluster.stats () trong R), nhưng tôi giả sử chúng được sử dụng tốt nhất nếu số cụm ước tính thực sự bằng với số cụm thực sự. Tôi muốn duy trì khả năng đo lường một giải pháp phân cụm hoạt động tốt như thế nào khi nó không chỉ định đúng số cụm trong mô phỏng ban đầu (nghĩa là dữ liệu mô hình giải pháp ba cụm được mô phỏng như thế nào để có 4 cụm giải pháp). Chỉ cần thông tin của bạn, các cụm được mô phỏng để sở hữu ma trận hiệp phương sai giống hệt nhau.

Tôi nghĩ rằng sự phân kỳ KL giữa hai hỗn hợp Gaussian sẽ hữu ích để thực hiện, nhưng không có giải pháp dạng đóng nào tồn tại ( Hershey và Olson (2007) ) và thực hiện mô phỏng Monte Carlo bắt đầu tốn kém về mặt tính toán.

Có giải pháp nào khác có thể dễ thực hiện (ngay cả khi chỉ là xấp xỉ) không?

clustering kullback-leibler gaussian-mixture

— mật ong
nguồn

Khoảng cách L2 giữa hai hỗn hợp Gaussian có sẵn ở dạng kín. Sử dụng này và bạn sẽ được thiết lập tất cả.

Tôi không biết làm thế nào bạn sẽ làm điều đó, nhưng nó không có vẻ là một ý tưởng tốt cho tôi. Lấy một hỗn hợp, hoán vị các thành phần (không thay đổi thành p (x)) và khoảng cách L2 có thể là bất cứ điều gì. Ngoài ra, khoảng cách L2 không phải là một ý tưởng tốt về ma trận hiệp phương sai.

— bayerj

Xác suất dự đoán sau của một tập dữ liệu thử nghiệm được tổ chức. Tôi nghi ngờ bạn cần linh mục trên k mặc dù.

— phỏng đoán

Liên kết đầu tiên bị hỏng

— ttnphns

6

Giả sử chúng ta có hai hỗn hợp Gaussian trong : Gọi mật độ của chúng lần lượt là và và biểu thị mật độ của các thành phần , của , . $\mathbb R^d$ $\DeclareMathOperator{\N}{\mathcal N} \newcommand{\ud}{\mathrm{d}} \DeclareMathOperator{\E}{\mathbb E} \DeclareMathOperator{\MMD}{\mathrm{MMD}}$

P = \sum_{i = 1}^{n} α_{i} P_{i} = \sum_{i = 1}^{n} α_{i} N (μ_{i}, Σ_{i}) Q = \sum_{j = 1}^{m} β_{j} Q_{j} = \sum_{j = 1}^{m} N (m_{j}, S_{j}) .

$P = \sum_{i=1}^{n} \alpha_i P_i = \sum_{i=1}^n \alpha_i \N(\mu_i, \Sigma_i) \qquad Q = \sum_{j=1}^m \beta_j Q_j = \sum_{j=1}^m \N(m_j, S_j) .$

p (\cdot)

$p(\cdot)$

q (\cdot)

$q(\cdot)$

P_{i}

$P_i$

Q_{j}

$Q_j$

p_{i} (x) = N (x; μ_{i}, Σ_{i})

$p_i(x) = \N(x; \mu_i, \Sigma_i)$

q_{j} (x) = N (x; m_{j}, S_{j})

$q_j(x) = \N(x; m_j, S_j)$

Các khoảng cách sau đây có sẵn ở dạng đóng:

$L_2$ Khoảng cách , như được đề xuất trong một nhận xét của người dùng39665. Đây là: Lưu ý rằng, như đã thấy trong phần 8.1.8 của sách nấu ăn ma trận : để điều này có thể được đánh giá dễ dàng trong thời gian .
$\begin{aligned} L_{2} (P, Q)^{2} & = \int (p (x) - q (x))^{2} d x \\ = \int {(\sum_{i} α_{i} p_{i} (x) - \sum_{j} β_{j} q_{j} (x))}^{2} d x \\ = \sum_{i, i^{'}} α_{i} α_{i^{'}} \int p_{i} (x) p_{i^{'}} (x) d x + \sum_{j, j^{'}} β_{j} β_{j^{'}} \int q_{j} (x) q_{j^{'}} (x) d x \\ - 2 \sum_{i, j} α_{i} β_{j} \int p_{i} (x) q_{j} (x) d x . \end{aligned}$ $\begin{align} L_2(P, Q)^2 &= \int (p(x) - q(x))^2 \,\ud x \\&= \int \left( \sum_{i} \alpha_i p_i(x) - \sum_j \beta_j q_j(x) \right)^2 \ud x \\&= \sum_{i,i'} \alpha_i \alpha_{i'} \int p_i(x) p_{i'}(x) \ud x + \sum_{j,j'} \beta_j \beta_{j'} \int q_j(x) q_{j'}(x) \ud x \\&\qquad - 2 \sum_{i,j} \alpha_i \beta_j \int p_i(x) q_j(x) \ud x .\end{align}$ $\begin{aligned} \int N (x; μ, Σ) N (x; μ^{'}, Σ^{'}) d x & = N (μ; μ^{'}, Σ + Σ^{'}) \end{aligned}$ $\begin{align} \int \N(x; \mu, \Sigma) \N(x; \mu', \Sigma') \,\ud x &= \N(\mu; \mu', \Sigma + \Sigma') \end{align}$ $O(m n)$
Sự khác biệt trung bình tối đa (MMD) với hạt nhân RBF Gaussian. Đây là một khoảng cách tuyệt vời, chưa được biết đến nhiều trong cộng đồng thống kê, cần một chút toán học để xác định.

Để xác định không gian Hilbert là không gian tái tạo hạt nhân Hilbert tương ứng với : .
$k (x, y) := \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}),$ $k(x, y) := \exp\left( - \frac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right),$ $\mathcal{H}$ $k$

Xác định hạt nhân bản đồ trung bình là
$K (P, Q) = E_{X \sim P, Y \sim Q} k (X, Y) = ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩ .$ $K(P, Q) = \E_{X \sim P, Y \sim Q} k(X, Y) = \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle .$

MMD sau đó là
$\begin{aligned} M M D (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖ \\ = \sqrt{K (P, P) + K (Q, Q) - 2 K (P, Q)} \\ = sup_{f : ‖ f ‖_{H} \leq 1} E_{X \sim P} f (X) - E_{Y \sim Q} f (Y) . \end{aligned}$ $\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert \\&= \sqrt{K(P, P) + K(Q, Q) - 2 K(P, Q)} \\&= \sup_{f : \lVert f \rVert_{\mathcal H} \le 1} \E_{X \sim P} f(X) - \E_{Y \sim Q} f(Y) .\end{align}$

Đối với hỗn hợp và của chúng tôi , lưu ý rằng và tương tự cho và . $P$ $Q$
$K (P, Q) = \sum_{i, j} α_{i} β_{j} K (P_{i}, Q_{j})$ $K(P, Q) = \sum_{i, j} \alpha_i \beta_j K(P_i, Q_j)$ $K(P, P)$

Hóa ra, sử dụng các thủ thuật tương tự như đối với , rằng là $L_2$ $K(\N(\mu, \Sigma), \N(\mu', \Sigma'))$
$(2 π σ^{2})^{d / 2} N (μ; μ^{'}, Σ + Σ^{'} + σ^{2} I) .$ $(2 \pi \sigma^2)^{d/2} \N(\mu; \mu', \Sigma + \Sigma' + \sigma^2 I) .$

Khi , rõ ràng điều này hội tụ đến bội số của khoảng cách . Tuy nhiên, thông thường bạn muốn sử dụng một , theo thang đo của biến thể dữ liệu. $\sigma \to 0$ $L_2$ $\sigma$

Các dạng đóng cũng có sẵn cho các hạt nhân đa thức trong MMD; xem $k$

Muandet, Fukumizu, Dinuzzo và Schölkopf (2012). Học hỏi từ các bản phân phối thông qua các máy đo hỗ trợ. Trong những tiến bộ trong hệ thống xử lý thông tin thần kinh ( phiên bản chính thức ). arXiv: 1202.6504 .

Đối với nhiều thuộc tính tốt đẹp của khoảng cách này, xem

Sriperumbudur, Gretton, Fukumizu, Schölkopf và Lanckriet (2010). Hilbert nhúng không gian và số liệu về các biện pháp xác suất. Tạp chí nghiên cứu máy học, 11, 1517 Từ1561 . arXiv: 0907.5309 .
Phân kỳ bậc hai Jensen-Rényi. Entropy Rényi- được định nghĩa là Giới hạn của nó là là entropy Shannon. Phân kỳ Jensen-Rényi là trong đó biểu thị một hỗn hợp bằng nhau giữa và . Hóa ra, khi và khi và là hỗn hợp Gaussian (như ở đây), bạn có thể tính một dạng đóng cho . Điều này đã được thực hiện bởi $\alpha$
$H_{α} (p) = \frac{1}{1 - α} \log (\int p (x)^{α} d x) .$ $H_\alpha(p) = \frac{1}{1-\alpha} \log\left( \int p(x)^\alpha \,\ud x \right) .$ $\alpha \to 1$ ${J R}_{α} (p, q) = H_{α} (\frac{p + q}{2}) - \frac{H_{α} (p) + H_{α} (q)}{2}$ $\mathrm{JR}_\alpha(p, q) = H_\alpha\left( \frac{p + q}{2} \right) - \frac{H_\alpha(p) + H_\alpha(q)}{2}$ $\frac{p + q}{2}$ $p$ $q$ $\alpha = 2$ $P$ $Q$ $\mathrm{JR}_2$

Wang, Syeda-Mahmood, Vemuri, Beymer và Rangarajan (2009). Phân kỳ Jensen-Renyi dạng đóng cho hỗn hợp Gaussian và các ứng dụng để đăng ký hình dạng nhóm-khôn ngoan. Med Image Comput Comput Hỗ trợ Interv., 12 (1), 648 Tắt655. ( phiên bản xuất bản miễn phí )

— Dougal
nguồn

0

Nếu các cụm của bạn thực sự không phải là hỗn hợp Gaussian nhưng có hình dạng tùy ý, kết quả của bạn thực sự có thể tốt hơn nhiều khi bạn tạo ra nhiều cụm hơn, sau đó hợp nhất một số lần sau đó.

Trong nhiều trường hợp, người ta chỉ chọn k là cao tùy ý, ví dụ 1000 cho một tập dữ liệu lớn; đặc biệt là khi bạn không thực sự quan tâm đến các mô hình, nhưng chỉ muốn giảm độ phức tạp của tập dữ liệu thông qua lượng tử hóa vectơ.

— Có QUIT - Anony-Mousse
nguồn

Tôi đã mô phỏng các cụm được rút ra từ hỗn hợp Gaussian, vì vậy tôi nghĩ rằng giả định của tôi là hợp lệ. Mục tiêu ở đây không phải là giảm độ phức tạp hay đưa ra tiêu chí quyết định cho việc chọn k, mà là so sánh mức độ k cụm mô hình dữ liệu khi k thực sự không chính xác. Một số lựa chọn không chính xác có thể mô hình hóa dữ liệu tốt hơn các dữ liệu khác và tôi đang cố gắng định lượng mức độ sai lệch này bằng một số tính toán (như phân kỳ KL, nhưng dễ thực hiện hơn đối với các hỗn hợp Gaussian).

— dmartin

0

Dưới đây là một khái quát của Mahalanobis D cho GMM bằng phương pháp Fisher Kernel và các kỹ thuật khác:

Tipping, Michael E. "Xuất phát các hàm khoảng cách phân tích cụm từ các mô hình hỗn hợp Gaussian." (1999): 815-820. https://pdfs.semanticscholar.org/08d2/0f55442aeb79edfaaaafa7ad54c513ee1dcb.pdf

Xem thêm: Có phiên bản đa Gaussian của khoảng cách Mahalanobis không?

— Lenar Hoyt
nguồn