Bộ tự động biến đổi với mô hình hỗn hợp Gaussian

Bộ mã hóa tự động biến đổi (VAE) cung cấp cách học phân phối xác suất liên quan đến đầu vào x với biểu diễn tiềm ẩn z của nó . Cụ thể, bộ mã hóa e ánh xạ đầu vào x thành phân phối trên z . Một bộ mã hóa thông thường sẽ xuất các tham số (\ mu, \ sigma) = e (x) , đại diện cho phân phối Gaussian \ mathcal {N} (\ mu, \ sigma) ; phân phối này được sử dụng như là xấp xỉ của chúng tôi cho p (z | x) .$p(x,z)$$x$$z$$e$$x$$z$$(\mu,\sigma)=e(x)$$\mathcal{N}(\mu,\sigma)$$p(z|x)$

Có ai đã xem xét VAE trong đó đầu ra là mô hình hỗn hợp Gaussian, chứ không phải là Gaussian? Điều này có hữu ích không? Có những nhiệm vụ mà điều này hiệu quả hơn đáng kể so với phân phối Gaussian đơn giản? Hay nó cung cấp ít lợi ích?

Vâng, nó đã được thực hiện. Bài viết sau đây thực hiện một cái gì đó ở dạng đó:

Phân cụm sâu không được giám sát với Bộ tự động biến đổi hỗn hợp Gaussian . Nat Dilokthanakul, Pedro AM Mediano, Marta Garnelo, Matthew CH Lee, Hugh Salimbeni, Kai Arulkumaran, Murray Shanahan.

Họ thử nghiệm sử dụng phương pháp này để phân cụm. Mỗi Gaussian trong hỗn hợp Gaussian tương ứng với một cụm khác nhau. Bởi vì hỗn hợp Gaussian nằm trong không gian tiềm ẩn ( ) và có một mạng nơ ron nối với , điều này cho phép các cụm không tầm thường trong không gian đầu vào ( ).$z$$z$$x$$x$

Bài báo đó cũng đề cập đến bài đăng trên blog sau đây, thử nghiệm với một biến thể khác nhau về kiến ​​trúc đó: http://ruishu.io/2016/12/25/gmvae/

Cảm ơn shimao đã chỉ ra điều này.