Tài liệu tham khảo biện minh cho việc sử dụng Hỗn hợp Gaussian

Các mô hình hỗn hợp Gaussian (GMM) rất hấp dẫn bởi vì chúng đơn giản để làm việc với cả trong phân tích và thực tế và có khả năng mô hình hóa một số phân phối kỳ lạ mà không quá phức tạp. Có một vài thuộc tính phân tích mà chúng ta nên dự kiến ​​sẽ nắm giữ mà không rõ ràng nói chung. Đặc biệt:

• Nói là lớp của tất cả các hỗn hợp Gaussian với thành phần. Đối với bất kỳ phân phối liên tục nào trên thực tế, chúng tôi có đảm bảo rằng khi phát triển, chúng tôi có thể tính xấp xỉ với một GMM với tổn thất không đáng kể theo nghĩa entropy tương đối không? Đó là,$S_n$$n$$P$$n$$P$ $$\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$$
• Giả sử chúng tôi có phân phối liên tục và chúng tôi đã tìm thấy hỗn hợp Gaussian N -component \ hat {P} gần với P trong tổng biến thể: \ delta (P, \ hat {P}) <\ varepsilon . Chúng ta có thể ràng buộc D (P || \ hat {P}) về mặt \ epsilon không?$P$P P δ ( P , P ) < ε D ( P | | P ) $N$$\hat{P}$$P$$\delta(P,\hat{P})<\varepsilon$$D(P||\hat{P})$$\epsilon$
• Nếu chúng tôi muốn quan sát $X\sim P_X$ thông qua tiếng ồn phụ gia độc lập $Y\sim P_Y$ (cả thực, liên tục) và chúng tôi có GMMs $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ trong đó $\delta(P,Q)<\epsilon$ , khi đó giá trị này nhỏ: $$\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$$ nghĩa là có đúng khi ước lượng nhiễu $X$ qua $Y$ khó như ước tính $\hat{X}$ qua $\hat{Y}$ không?
• Bạn có thể làm điều đó cho các mô hình tiếng ồn không phụ gia như tiếng ồn Poisson không?

Đánh giá tài liệu (ngắn) của tôi cho đến nay chỉ bật lên các hướng dẫn rất áp dụng. Có ai có bất kỳ tài liệu tham khảo nào thể hiện nghiêm ngặt trong những điều kiện nào chúng ta có lý khi sử dụng các mô hình hỗn hợp không?

Trong kinh tế lượng, trong đó bối cảnh là sự phân phối hỗn hợp các hệ số trong các mô hình logit, tham chiếu tiêu chuẩn là: MIXED MNL MÔ HÌNH ĐỂ GIẢI QUYẾT GIẢI QUYẾT DaniEL MCFADDEN VÀ TUYỆT VỜI CỦA ỨNG DỤNG, JACKAL OF ECONOMETRICS, J. Kinh tế. 15: 447-470 (2000).

Đối với câu hỏi của bạn:

1. Đối với vấn đề Bayes rất giống với hỗn hợp Dirichlet Process của gaussian, tôi hiểu câu trả lời là có. Ghosal (2013) .
2. Khi tôi tham dự một số cuộc nói chuyện về chủ đề này, có vẻ như tiến bộ chủ yếu được thực hiện bằng cách sử dụng phân kỳ KL. Xem slide của Harry van Zanten .
3. Tôi không rõ ràng. Tuy nhiên, điều này trông giống như một vấn đề tách nguồn ( rõ). Chúng thường khó khăn hơn nhiều so với mô hình hỗn hợp một mình. Đặc biệt đối với trường hợp đơn giản là P N = P S = N ( 0 , 1 ), bạn sẽ không thể xác định được X và Y thực do tính đối xứng của các phân phối về 0.$P_N, P_S$$P_N = P_S = N(0,1)$$X$$Y$
4. Xem phần thứ tư của các slide được liên kết ở trên, có một danh sách các mô hình Bayes mà sự đảm bảo hội tụ được giữ.

Đây là một câu trả lời một phần.

Nói là lớp của tất cả các hỗn hợp Gaussian với n thành phần. Đối với bất kỳ phân phối P liên tục nào trên thực tế, chúng tôi có đảm bảo rằng khi n phát triển, chúng tôi có thể tính xấp xỉ P với một GMM với tổn thất không đáng kể theo nghĩa entropy tương đối không? Nghĩa là, không lim n → ∞ inf P ∈ S n D ( P | | P ) = 0 $S_n$$n$$P$$n$$P$

$$\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$$

Số Bạn chỉ có thể hy vọng rằng một KL phân kỳ là nhỏ nếu bạn biết rằng Q 'đuôi s là cuối cùng của thứ tự như P ' s. Điều này nói chung không đúng. Nó không phải là khó để thấy rằng đối với P Cauchy sau đó cho bất kỳ n , inf P ∈ S n D ( P | | P ) = $D(P\|Q)$$Q$$P$$P$$n$

Cần thêm điều kiện về để nói rằng.$P$

Giả sử chúng ta có một phân phối liên tục và chúng tôi đã tìm thấy một N -component Gaussian hỗn hợp P mà gần P trong tổng số biến thể: δ ( P , P ) < ε . Chúng ta có thể bị ràng buộc D ( P | | P ) về ε ?$P$$N$$\hat{P}$$P$$\delta(P,\hat{P})<\varepsilon$$D(P||\hat{P})$$\epsilon$

Không. Ví dụ tương tự ở trên áp dụng.

Nếu chúng ta muốn quan sát thông qua độc lập phụ tiếng ồn Y ~ P Y (cả thực tế, liên tục), và chúng tôi có GMMs X ~ Q X , Y ~ Q Y nơi δ ( P , Q ) < ε , sau đó giá trị này có nhỏ không: | m m s e ( X | X + Y ) - m m s e ( $X\sim P_X$$Y\sim P_Y$$\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$$\delta(P,Q)<\epsilon$ Tức là nó đúng là ước tínhXquaYtiếng ồn là về khó như ước tính X qua Y tiếng ồn?

$$\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$$ $X$$Y$$\hat{X}$$\hat{Y}$

$X,Y,\hat{X},\hat{Y}$$E[X|Y]$$E[\hat{X}|\hat{Y}]$$|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$$TV(P,Q)$nhỏ. Liên quan.

Tôi đã không thể chứng minh điều này, nói chung hoặc sử dụng cấu trúc phụ gia bổ sung mà chúng tôi đã giả định trên P, Q hoặc đưa ra bất kỳ mẫu phản ứng nào.

Bạn có thể làm điều đó cho các mô hình tiếng ồn không phụ gia như tiếng ồn Poisson không?

Điều này là mơ hồ. Trong bối cảnh của câu hỏi trước, nếu câu nói trong câu trả lời đó có thể được chứng minh nói chung thì câu trả lời là có.