Một ví dụ thực tế cho MCMC

Tôi đã trải qua một số bài giảng liên quan đến MCMC. Tuy nhiên, tôi không tìm thấy một ví dụ hay về cách sử dụng nó. Bất cứ ai có thể cho tôi một ví dụ cụ thể. Tất cả những gì tôi có thể thấy là họ điều hành chuỗi Markov và nói rằng phân phối cố định của nó là phân phối mong muốn.

Tôi muốn một ví dụ tốt trong đó phân phối mong muốn khó lấy mẫu từ đó. Vì vậy, chúng tôi tạo ra một chuỗi Markov. Tôi muốn biết cách chọn ma trận chuyển tiếp sao cho phân phối cố định của chuỗi Markov là phân phối mục tiêu Cảm ơn

Một ví dụ điển hình về phân phối khó lấy mẫu là mô hình Hard-Core, xem trang này để biết tổng quan:

http://www.mathematik.uni-ulm.de/stochastik/lehre/ss06/markov/skript_engl/node34.html

Mô hình này định nghĩa một phân phối qua lưới đối với một số cố định n , nơi mà tại mỗi điểm trong lưới bạn có thể có một giá trị của một hoặc zero. Để lưới có thể được chấp nhận theo mô hình lõi cứng, không có hai điểm liền kề nào trên lưới có thể có giá trị là 1.$n \times n$$n$

Những hình ảnh dưới đây cho thấy một cấu hình chấp nhận được ví dụ cho một lưới theo mô hình hard-core. Trong ảnh này, các hình này được hiển thị dưới dạng các chấm đen và các số 0 màu trắng. Lưu ý rằng không có hai chấm đen liền kề nhau.$8 \times 8$

Tôi tin rằng cảm hứng cho mô hình này đến từ vật lý, bạn có thể nghĩ mỗi vị trí trong lưới là một hạt và giá trị tại vị trí đó đại diện cho điện tích hoặc spin.

Chúng tôi muốn lấy mẫu thống nhất từ ​​quần thể lưới được chấp nhận, đó là nếu là tập hợp các lưới được chấp nhận, chúng tôi muốn lấy mẫu e ∈ E sao cho$E$$e \in E$

$p(e) = \frac{1}{|E|}$

$|E|$

$n \times n$$|E|$

Một trong những điều tốt đẹp về MCMC, là nó cho phép bạn lấy mẫu từ các bản phân phối trong đó hằng số chuẩn hóa là khó khăn hoặc không thể đánh giá.

Tôi sẽ cho bạn đọc bài viết về các chi tiết về cách triển khai MCMC cho vấn đề này, nhưng nó tương đối đơn giản.

Tôi nghĩ ví dụ tốt nhất tôi có thể cung cấp cho bạn là:

Một ví dụ về chuỗi Markov Monte Carlo của Murali Haran

Bao gồm một số mã hữu ích trong R.

Tôi nghĩ rằng tôi có thể sao chép bài báo ở đây, nhưng nó không có ý nghĩa.

Một vấn đề nan giải khác trong thống kê. Câu hỏi đã cũ, nhưng các ví dụ giới thiệu trực tuyến rất khó để đưa ra. Vì vậy, hãy để tôi đơn giản hóa hai ví dụ tuyệt vời chỉ trong trường hợp ai đó đi theo Markov đi bộ ngẫu nhiên trên vùng đất PageRank ở đây được MCMC đưa vào, và đầy dự đoán để có câu trả lời dễ theo dõi. Làm thế nào có thể? Đó có thể là một câu hỏi tiếp theo.

FIRST EXAMPLE:

$N(0,1)$

Khó khăn là trong việc nhận ra rằng sau khi trải qua tất cả các bước cơ học, chỉ có một mẹo kỳ diệu: quyết định nhị phân chấp nhận hoặc từ chối một giá trị được đề xuất .

$x$mean$0$sd$~ 1$rnorm(10000)

eps$\epsilon$$x_i$$x_{i+1}$runif(1, - eps, eps)$x_i$

Do đó, mọi giá trị được đề xuất sẽ khác với giá trị trước theo kiểu ngẫu nhiên và trong giới hạn của [- eps,+ eps].

$i$$i + 1$

$N(0,1)$$x_{i+1}$$x_{i}$

min(1, dnorm(candidate_value)/dnorm(x))$1$$N(0,1)$ $pdf$$x_{i+1}$$x_i$min(1, ...)dnorm

min(1, dnorm(candidate_value)/dnorm(x))runif(1)$0$$1$x[i+1]x[i]

sd$1$$0$

$0$x = 0; vec[1] = x

SECOND EXAMPLE:

Điều này thú vị hơn và làm tham chiếu để ước tính các tham số của đường cong hồi quy tuyến tính bằng cách tính khả năng nhật ký cho các tham số ngẫu nhiên được cung cấp một tập dữ liệu . Tuy nhiên, việc loại bỏ các dòng mã được xây dựng trong mô phỏng cô đọng được lưu ở đây , theo các bước rất giống với ví dụ đầu tiên.

Video Youtube này là một hình ảnh thực sự hay về một vấn đề đơn giản được giải quyết bằng MCMC.

Phân phối lợi ích là phân phối sau trên các sườn có thể và chặn trong hồi quy tuyến tính (bảng trên bên phải). Một số kết hợp độ dốc và chặn là rất có thể xảy ra (nghĩa là chúng có khả năng cao tạo ra các điểm dữ liệu quan sát và phù hợp với chúng tôi kỳ vọng tiên nghiệm ), vì vậy chúng nên được lấy mẫu thường xuyên. Các kết hợp khác là không thể thực hiện được (ví dụ: nếu chúng tương ứng với một đường màu xanh không đi qua đám mây của các điểm dữ liệu) và nên được lấy mẫu ít thường xuyên hơn.

Bảng điều khiển lớn ở phía dưới bên trái cho thấy đường đi của chuỗi Markov đi qua một không gian hai chiều dốc và chặn. Các biểu đồ cho thấy tóm tắt một chiều về tiến trình của chuỗi cho đến nay. Khi chuỗi đã chạy đủ lâu, chúng tôi có các ước tính rất tốt về các bản phân phối cho các giá trị có thể của độ dốc và đánh chặn.

Trong trường hợp này, MCMC là quá mức cần thiết, nhưng có một số vấn đề trong đó một giải pháp khó viết ra và rất có ý nghĩa để khám phá các khả năng với chuỗi Markov thay vì cố gắng giải quyết trực tiếp.