Các phương pháp dựa trên MCMC có phù hợp khi ước tính a-posteriori tối đa có sẵn không?

13

Tôi đã nhận thấy rằng trong nhiều ứng dụng thực tế, các phương pháp dựa trên MCMC được sử dụng để ước tính một tham số mặc dù sau đó là phân tích (ví dụ vì các linh mục được liên hợp). Đối với tôi, việc sử dụng các công cụ ước tính MAP hơn là các công cụ ước tính dựa trên MCMC có ý nghĩa hơn. Bất cứ ai cũng có thể chỉ ra lý do tại sao MCMC vẫn là một phương pháp thích hợp với sự có mặt của một hậu thế phân tích?

bayesian mcmc posterior

— Hình ba chiều
nguồn

2

Bạn có thể đưa ra một ví dụ về điều này trong thực tế? Lưu ý rằng có một sự khác biệt so với trước đây là liên hợp và liên hợp có điều kiện . Trong nhiều ứng dụng lấy mẫu Gibbs, các linh mục được chọn là liên hợp có điều kiện, nhưng bản thân trước đó không liên hợp; ví dụ, xem xét Phân bổ Dirichlet tiềm ẩn.

— anh chàng

4

Không rõ MAP phải làm gì với điều này. Công cụ ước tính Bayes là trung bình sau, không phải chế độ sau. Ngay cả khi các linh mục không liên hợp, bạn thường có thể thực hiện một số tối ưu hóa để có được công cụ ước tính MAP - STAN thực hiện việc này ít nhiều trước đó. Quan điểm của MCMC là ước tính phân phối sau, có nhiều thông tin hơn so với chỉ là công cụ ước tính MAP.

— anh chàng

11

Không cần sử dụng MCMC trong trường hợp này: Markov Chain Monte-Carlo (MCMC) là phương pháp được sử dụng để tạo giá trị từ phân phối. Nó tạo ra một chuỗi các giá trị tương quan tự động với phân phối cố định bằng phân phối đích. Phương pháp này vẫn sẽ hoạt động để mang lại cho bạn những gì bạn muốn, ngay cả trong trường hợp phân phối mục tiêu có dạng phân tích. Tuy nhiên, có những phương pháp đơn giản và ít tính toán hơn, hoạt động trong những trường hợp như thế này, trong đó bạn đang xử lý một hậu thế có hình thức phân tích tốt.

Trong trường hợp phân phối sau có dạng phân tích có sẵn, có thể lấy ước tính tham số (ví dụ: MAP) bằng cách tối ưu hóa từ phân phối đó bằng kỹ thuật tính toán tiêu chuẩn. Nếu phân phối mục tiêu đủ đơn giản, bạn có thể nhận được một giải pháp dạng đóng cho công cụ ước tính tham số, nhưng ngay cả khi không, bạn thường có thể sử dụng các kỹ thuật lặp đơn giản (ví dụ: Newton-Raphson, giảm độ dốc, v.v.) để tìm tối ưu hóa ước tính tham số cho bất kỳ dữ liệu đầu vào nào. Nếu bạn có dạng phân tích cho hàm lượng tử của phân phối đích và bạn cần tạo các giá trị từ phân phối, bạn có thể thực hiện việc này thông qua lấy mẫu biến đổi nghịch đảo, ít chuyên sâu tính toán hơn MCMC và cho phép bạn tạo các giá trị IID thay vì các giá trị với các mẫu tương quan tự động phức tạp.

Theo quan điểm này, nếu bạn đã lập trình từ đầu, thì dường như không có bất kỳ lý do nào bạn sẽ sử dụng MCMC trong trường hợp phân phối mục tiêu có dạng phân tích có sẵn. Lý do duy nhất bạn có thể làm như vậy là nếu bạn đã viết một thuật toán chung cho MCMC, có thể được thực hiện với nỗ lực tối thiểu và bạn quyết định rằng hiệu quả của việc sử dụng hình thức phân tích vượt trội hơn so với nỗ lực thực hiện toán học cần thiết. Trong một số bối cảnh thực tế nhất định, bạn sẽ xử lý các vấn đề thường khó hiểu, trong đó các thuật toán MCMC đã được thiết lập và có thể được thực hiện với nỗ lực tối thiểu (ví dụ: nếu bạn phân tích dữ liệu trongRStan). Trong những trường hợp này, có thể dễ dàng nhất để chạy các phương thức MCMC hiện tại của bạn thay vì đưa ra các giải pháp phân tích cho các vấn đề, mặc dù sau này có thể được sử dụng như một cách kiểm tra công việc của bạn.

— Phục hồi Monica
nguồn

10

$\pi(\theta)$

\underset{δ}{tối thiểu} \int_{Θ} L (θ, δ) \tilde{π} (θ) f (x | θ) d θ

$\min_\delta\int_\Theta \text{L}(\theta,\delta)\,\tilde\pi(\theta)\,f(x|\theta)\,\text{d}\theta$

\tilde{π} (\cdot) \propto π (\cdot)

$\tilde\pi(\cdot)\propto\pi(\cdot)$

\int \tilde{π} (θ) d θ

$\int \tilde\pi(\theta)\,\text{d}\theta$

x, y \in (0, 1)

$x,y\in(0,1)$

f_{θ} (x, y) = = \frac{1 + θ [(1 + x) (1 + y) - 3] + θ^{2} (1 - x) (1 - y))}{[1 - θ (1 - x) (1 - y)]^{3}} θ \in (- 1, 1)

$f_\theta(x,y)=\dfrac{1+\theta[(1+x)(1+y)-3]+\theta^2(1-x)(1-y)) }{[1-\theta(1-x)(1-y)]^3}\qquad\theta\in(-1,1)$

Φ^{- 1} (X)

$\Phi^{-1}(X)$

Y = y

$Y=y$

Φ (.)

$\Phi(.)$

Cũng lưu ý rằng công cụ ước tính posteriori tối đa không phải là công cụ ước tính tự nhiên nhất trong cài đặt Bayes, vì nó không tương ứng với hàm mất và biểu thị mật độ dạng đóng, thậm chí lên đến hằng số, không tạo ra MAP nhất thiết phải dễ dàng Hoặc sử dụng MAP có liên quan.

— Tây An
nguồn

2

Khi tôi đọc nó, câu hỏi này đang hỏi hai câu hỏi hơi trực giao. Một là nên sử dụng các công cụ ước tính MAP so với các phương tiện sau, và thứ hai là liệu MCMC có nên sử dụng nếu sau đó có dạng phân tích hay không.

Liên quan đến các công cụ ước tính MAP về phương tiện sau, từ góc độ lý thuyết, phương tiện sau thường được ưa thích hơn, như @Xian lưu ý trong câu trả lời của ông. Lợi thế thực sự đối với các công cụ ước tính MAP là, đặc biệt trong trường hợp điển hình hơn khi hậu thế không ở dạng đóng, chúng có thể được tính nhanh hơn nhiều (tức là một vài bậc độ lớn) so với ước tính của trung bình sau. Nếu hậu thế xấp xỉ đối xứng (thường xảy ra trong nhiều vấn đề với cỡ mẫu lớn), thì ước tính MAP phải rất gần với trung bình sau. Vì vậy, sự hấp dẫn của MAP thực sự là nó có thể là một xấp xỉ rất rẻ của trung bình sau.

Lưu ý rằng việc biết hằng số chuẩn hóa không giúp chúng ta tìm thấy chế độ sau, do đó, có một giải pháp dạng đóng cho kỹ thuật sau không giúp chúng ta tìm thấy ước tính MAP, bên ngoài trường hợp chúng ta nhận ra hậu thế là một phân phối cụ thể chúng tôi biết đó là chế độ.

Liên quan đến câu hỏi thứ hai, nếu một người có dạng đóng phân phối sau, nói chung, không có lý do gì để sử dụng thuật toán MCMC. Về mặt lý thuyết, nếu bạn có một giải pháp dạng đóng cho phân phối sau, nhưng không có dạng đóng cho trung bình của một số hàm và không thể lấy trực tiếp từ phân phối dạng đóng này, thì người ta có thể chuyển sang thuật toán MCMC. Nhưng tôi không biết bất kỳ trường hợp nào của tình huống này.

— Vách đá AB
nguồn

1

Tôi cho rằng các phương pháp MCMC không nhất thiết không phù hợp , ngay cả khi các giải pháp dạng đóng tồn tại. Rõ ràng, thật tuyệt khi có một giải pháp phân tích tồn tại: chúng thường nhanh, bạn tránh được những lo ngại về sự hội tụ (vv).

Mặt khác, tính nhất quán cũng rất quan trọng. Chuyển từ kỹ thuật sang kỹ thuật làm phức tạp bài thuyết trình của bạn: tốt nhất, đó là chi tiết không liên quan có thể gây nhầm lẫn hoặc đánh lạc hướng khán giả khỏi kết quả thực tế của bạn, và tệ nhất có thể giống như một nỗ lực nhằm thiên vị kết quả. Nếu tôi có một vài mô hình, chỉ một vài trong số đó thừa nhận các giải pháp dạng đóng, tôi sẽ cân nhắc mạnh mẽ việc chạy tất cả chúng qua cùng một đường ống MCMC ngay cả khi nó không thực sự cần thiết.

Tôi nghi ngờ điều này, cộng với quán tính ("chúng tôi có kịch bản này hoạt động") chiếm phần lớn những gì bạn đang thấy.

— Matt Krause
nguồn