Bay Variational kết hợp với Monte Carlo

Tôi đang đọc Bayes đa dạng và khi tôi hiểu nó, có ý tưởng rằng bạn xấp xỉ (trong đó là các biến tiềm ẩn của mô hình của bạn và dữ liệu được quan sát) với một hàm , đưa ra giả định rằng nhân tố là trong đó là tập con của các biến tiềm ẩn. Sau đó, có thể chỉ ra rằng yếu tố tối ưu là: $p(z\mid x)$$z$$x$$q(z)$$q$$q_i(z_i)$$z_i$$q_i(z_i)$

Trong đó dấu ngoặc góc biểu thị kỳ vọng đối với tất cả các biến tiềm ẩn ngoại trừ đối với phân phối .$z_i$$q(z)$

Bây giờ, biểu thức này thường được đánh giá một cách phân tích, để đưa ra câu trả lời chính xác cho giá trị mục tiêu gần đúng. Tuy nhiên, điều đó xảy ra với tôi rằng, vì đây là một kỳ vọng, nên một cách tiếp cận rõ ràng là ước tính gần đúng kỳ vọng này bằng cách lấy mẫu. Điều này sẽ cung cấp cho bạn một câu trả lời gần đúng cho một hàm mục tiêu gần đúng, nhưng nó tạo ra một thuật toán rất đơn giản, có lẽ đối với các trường hợp phương pháp phân tích không khả thi.

Câu hỏi của tôi là, đây có phải là một cách tiếp cận được biết đến ? Nó có tên không? Có những lý do tại sao nó có thể không hoạt động tốt, hoặc có thể không mang lại một thuật toán đơn giản như vậy?

Tôi sẽ thú nhận đây không phải là một lĩnh vực mà tôi biết rất rõ, vì vậy hãy dùng nó với một hạt muối.

Trước hết, lưu ý rằng những gì bạn đang đề xuất không mang lại thuật toán đơn giản như vậy: để tính toán , chúng tôi không cần tính một giá trị mong đợi duy nhất (như giá trị trung bình hoặc phương sai), nhưng giá trị mong đợi của toàn bộ hàm. Điều này là khó tính toán và sẽ yêu cầu bạn ước tính đúng theo một số (ví dụ: chúng ta có thể tìm thấy một xấp xỉ biểu đồ)$q^\star_i$$q^\star$$\tilde q$

Nhưng, nếu bạn định giới hạn trong một gia đình tham số nhỏ, một ý tưởng tốt hơn có thể là sử dụng gốc dốc ngẫu nhiên để tìm các giá trị tham số tốt nhất (xem: Suy luận biến đổi Bayesian với tìm kiếm ngẫu nhiên, 2012, Paisley, Blei, Jordan ). Độ dốc họ tính toán rất giống với những gì bạn đã viết: họ lấy mẫu từ tất cả các xấp xỉ mà họ hiện không tối ưu hóa.$q_i$

Vì vậy, những gì bạn đề xuất không đơn giản, nhưng nó khá gần với một phương pháp thực tế đã được đề xuất gần đây