Khi nào MCMC hữu ích?

Tôi gặp khó khăn trong việc hiểu cách tiếp cận MCMC thực sự hữu ích trong tình huống nào. Tôi đang xem qua một ví dụ về đồ chơi từ cuốn sách Kruschke "Thực hiện phân tích dữ liệu Bayes: Hướng dẫn với R và BUGS".

Những gì tôi hiểu cho đến nay là chúng ta cần một bản phân phối mục tiêu đó là tỷ lệ thuận với $p(D|\theta)p(\theta)$ để có một mẫu của $P(\theta|D)$ . Tuy nhiên, đối với tôi, một khi chúng ta có $p(D|\theta)p(\theta)$ chúng ta chỉ cần bình thường hóa phân phối để có được hậu thế, và hệ số chuẩn hóa có thể dễ dàng tìm thấy bằng số. Vì vậy, những trường hợp khi điều này là không thể?

mcmc

— Vaaal
nguồn

Giả sử

không phải là một đại lượng vô hướng mà thay vào đó là một vector

có 10000 chiều.

θ

$\theta$

θ

$\boldsymbol\theta$

— Jan Galkowski

Câu trả lời của tôi là một chút ngắn gọn. Để lấy hằng số, cần tính

. Ngay cả trong trường hợp vô hướng, giả sử

thực sự rất khó khăn nên việc tích hợp rất khó thực hiện, thậm chí là bằng số. Sau đó, bạn có thể muốn sử dụng MCMC.

\int_{- \infty}^{\infty} p (D | θ) p (θ)

$\int_{-\infty}^{\infty} p(D|\theta)p(\theta)$

p (D | θ)

$p(D|\theta)$

— Jan Galkowski

Một lời cảnh báo từ Alan Sokal: "Monte Carlo là một phương pháp cực kỳ tồi tệ, nó chỉ nên được sử dụng khi tất cả các phương pháp thay thế là tồi tệ nhất". Sau đó, anh bắt tay vào một phương pháp MC dài. stat.unc.edu/facemony/cji/Sokal.pdf

— Yair Daon

@Yair: Nghe có vẻ như tôi là Sokal đang kênh Churchill.

— Đức hồng y

Khi không có gì khác sẽ làm việc ...

— kjetil b halvorsen 10/2/2015

Câu trả lời:

Tích hợp Monte Carlo là một dạng tích hợp số có thể hiệu quả hơn nhiều so với, ví dụ, tích hợp số bằng cách xấp xỉ tích phân với đa thức. Điều này đặc biệt đúng trong các kích thước cao, trong đó các kỹ thuật tích hợp số đơn giản đòi hỏi số lượng lớn các đánh giá chức năng. Để tính hằng số chuẩn hóa , chúng ta có thể sử dụng lấy mẫu quan trọng , $p(D)$

p (D) = \int \frac{q (θ)}{q (θ)} p (θ) p (D ∣ θ) d θ \approx \frac{1}{N} \sum_{n} w_{n} p (θ_{n}) p (D ∣ θ_{n}),

$p(D) = \int \frac{q(\theta)}{q(\theta)} p(\theta)p(D \mid \theta) \, d\theta \approx \frac{1}{N} \sum_n w_n p(\theta_n)p(D \mid \theta_n),$

trong đó và được lấy mẫu từ . Lưu ý rằng chúng ta chỉ cần đánh giá phân phối chung tại các điểm được lấy mẫu. Đối với đúng , công cụ ước tính này có thể rất hiệu quả theo nghĩa yêu cầu rất ít mẫu. Trong thực tế, việc chọn một thích hợp có thể khó khăn, nhưng đây là lúc MCMC có thể giúp đỡ! Lấy mẫu quan trọng (Neal, 1998) kết hợp MCMC với lấy mẫu quan trọng. $w_n = 1/q(\theta_n)$ $\theta_n$ $q$ $q$ $q$

Một lý do tại sao MCMC rất hữu ích là thế này: Chúng ta thường thậm chí không có quan tâm đến mật độ sau của , mà đúng hơn là trong thống kê tóm tắt và mong đợi , ví dụ: $\theta$

\int p (θ ∣ D) f (θ) d θ .

$\int p(\theta \mid D) f(\theta) \, d\theta.$

Biết thường không có nghĩa là chúng ta có thể giải được tích phân này, nhưng các mẫu là một cách rất thuận tiện để ước tính nó. $p(D)$

Cuối cùng, có thể đánh giá là một yêu cầu đối với một số phương pháp MCMC, nhưng không phải tất cả trong số họ (ví dụ, Murray et al, 2006. ). $p(D \mid \theta)p(\theta)$

— Lucas
nguồn

Xin lỗi, nhưng điều này vẫn chưa rõ ràng với tôi. Câu hỏi của tôi là: nếu chúng ta chỉ cần nhân

chúng ta sẽ có được một pdf không chuẩn hóa. Bằng cách chạy MCMC, chúng tôi có được một mẫu mà chúng tôi có thể ước tính pdf không chuẩn hóa. Nếu chúng ta muốn, chúng ta có thể bình thường hóa cả hai. Vì vậy, ĐÁNH GIÁ Tôi KHÔNG quan tâm đến bất kỳ số liệu thống kê tóm tắt nào, mà chỉ ở phần sau, tại sao chúng ta sử dụng MCMC ở vị trí đầu tiên? Như bạn nói, một số phương pháp MCMC không yêu cầu tính toán của

p (D | θ) p (θ)

$p(D|\theta)p(\theta)$

p (D | θ) p (θ)

$p(D|\theta)p(\theta)$ , vì vậy tôi không đề cập đến những người. Theo tôi biết, hầu hết trong số họ yêu cầu tính toán của điều đó. Sự hữu ích của các phương pháp này là gì?

— Vaaal

Khi chạy MCMC, bạn lấy một mẫu từ pdf đã chuẩn hóa để tránh tính toán hằng số chuẩn hóa. Và điều này là miễn phí.

— Tây An

@Vaaal: Giả định của bạn rằng "hệ số chuẩn hóa có thể dễ dàng tìm thấy bằng số" chỉ giữ cho các phân phối đơn biến đơn giản. Đối với chiều cao

, bình thường hóa

là nói chung vô cùng khó khăn. Trong trường hợp này, MCMC vẫn có thể được sử dụng để ước tính hằng số chuẩn hóa (ví dụ: thông qua lấy mẫu quan trọng bị ủ).

θ

$\theta$

p (D ∣ θ) p (θ)

$p(D \mid \theta) p(\theta)$

— Lucas

Khi bạn có một trước và một khả năng có hoặc không tính toán theo hình thức khép kín hoặc như vậy mà phân phối sau không phải là loại tiêu chuẩn, việc mô phỏng trực tiếp từ mục tiêu này theo hướng xấp xỉ Monte Carlo của phân phối sau là không khả thi. Một ví dụ điển hình được tạo ra từ các mô hình phân cấp với các linh mục không liên hợp, chẳng hạn như các mô hình được tìm thấy trong sách BUGS . $p(\theta)$ $f(x|\theta)$

p (θ | x) \propto p (θ) f (x | θ)

$p(\theta|x)\propto p(\theta)f(x|\theta)$

Phương pháp mô phỏng gián tiếp như chấp nhận-chối, tỷ lệ-of-thống nhất, hoặc kỹ thuật quan trọng lấy mẫu phong tục chạy vào số và độ chính xác khó khăn khi kích thước của tham số tăng vượt quá một vài đơn vị. $\theta$

$p(\theta|x)$

$p(\theta)f(x|\theta)$

p (θ) f (x | θ) \propto \int g (z | θ, x) p (θ) f (x | θ) d z

$p(\theta)f(x|\theta)\propto \int g(z|\theta,x) p(\theta)f(x|\theta)\text{d}z$

Các phương pháp MCMC đã mang lại một phạm vi rộng hơn cho các phương pháp Bayes, như được minh họa bởi sự bùng nổ theo sau sự phổ biến của phương pháp bởi Alan Gelfand và Adrian Smith vào năm 1990.

— Tây An
nguồn

Liên kết đến CUỐN SÁCH BUG không hoạt động nữa.

— HelloWorld