Sử dụng giả linh mục đúng cách trong lựa chọn mô hình Bayes

Một cách tiếp cận để so sánh mô hình trong khung Bayes sử dụng biến chỉ báo Bernoulli để xác định mô hình nào trong hai mô hình có khả năng là "mô hình thực". Khi áp dụng các công cụ dựa trên MCMC để phù hợp với một mô hình như vậy, người ta thường sử dụng các giả giả để cải thiện việc trộn trong các chuỗi. Xem ở đây để có một điều trị rất dễ tiếp cận về lý do tại sao các linh mục giả là hữu ích.

Trong bài báo chuyên đề của họ về chủ đề này, Carlin & Chib (tr. 475) nói rằng "hình thức [giả trước đó] không liên quan", mà tôi cho rằng nó không ảnh hưởng đến suy luận sau dựa trên mô hình (mặc dù nó có thể ảnh hưởng đến việc trộn MCMC trong quá trình lắp mô hình). Tuy nhiên, sự hiểu biết của tôi là hình thức của DOES giả trước đó. Tôi đã hỏi về điều này trước đây trong câu hỏi này . @ Xi'an nhận xét (bình luận thứ 4): " suy luận về mô hình nào là đúng không phụ thuộc vào các thầy tu giả ".

Gần đây tôi đọc những bình luận từ Martyn Plummer mâu thuẫn với sự hiểu biết của tôi về Carlin & Chib. Martyn nói: " Để phương pháp Carlin-Chib hoạt động, giả trước phải phù hợp với hậu thế khi mô hình là đúng. "

(Tôi KHÔNG nói rằng Plummer mâu thuẫn với Carlin & Chib; chỉ có điều anh ấy mâu thuẫn với sự hiểu biết của tôi về yêu cầu của Carlin & Chib).

Tất cả điều này để lại cho tôi năm câu hỏi:

1. Chuyện gì đang xảy ra ở đây? Với điều kiện mô hình hội tụ và mang lại kích thước mẫu hiệu quả tốt từ phía sau, liệu suy luận của tôi về biến nào sẽ bao gồm trong mô hình phụ thuộc vào giả trước của tôi?
2. Nếu không, làm thế nào để chúng ta vuông nó với trực giác của tôi và nhận xét của Plummer ? Nếu vậy, làm thế nào để chúng ta vuông nó với giấy của Carlin & Chib và bình luận của Xi'an (bình luận thứ 4) ?
3. Nếu sự hiểu biết của tôi về nhận xét của Plummer là chính xác, và các linh mục giả phải tương ứng với hậu thế khi bao gồm biến số ... điều này có nghĩa là nó không thể chấp nhận được đối với các linh mục giả tương ứng chính xác với các linh mục thực sự? Điều này có nghĩa là các linh mục giả không chỉ là một kỹ thuật thuận tiện để cải thiện sự pha trộn trong MCMC !!

4. Điều gì xảy ra nếu biến chỉ báo bật và tắt một phần của mô hình với một vài tham số (ví dụ: hiệu ứng ngẫu nhiên với trung bình lớn, phương sai và hiệu ứng nhóm n )? Điều nào sau đây được cho phép (theo thứ tự tôi tin tưởng rằng phương pháp này được cho phép) như thế nào? Có cách tiếp cận nào tốt hơn mà tôi không liệt kê?

   Tôi. Sử dụng giả trước đó xấp xỉ phân phối khớp sau đầy đủ của tất cả các tham số.

   ii. Nếu sự pha trộn được chấp nhận là không tàn bạo, thì đừng sử dụng các linh mục giả (ví dụ: sử dụng các linh mục giả tương đương với các linh mục thực sự).

   iii. Sử dụng giả trước dựa trên các phân phối sau đơn biến cho từng tham số, nhưng đừng lo lắng về cách chúng được phân phối chung.

   iv. Theo ngôn ngữ rõ ràng đơn giản của Carlin & Chib, sử dụng bất kỳ giả trước nào mang lại hiệu quả tính toán trong chuỗi MCMC, vì "hình thức [giả trước] không liên quan".

5. @ Xi'an có ý nghĩa gì trong bình luận đầu tiên về câu hỏi của tôi khi nói rằng " các giáo sĩ giả cần điều chỉnh trong một kiểu lấy mẫu quan trọng. "

1. Chuyện gì đang xảy ra ở đây?

Đây là một câu hỏi rất chung chung với câu trả lời rõ ràng để nghiên cứu chi tiết Carlin & Chib (1995) . Ý tưởng thiết yếu là xem xét các tham số chung$(m,\theta_1,\theta_2)$ Ở đâu $m$ biểu thị chỉ số mô hình ($m=1,2$) và $\theta_1,\theta_2$ các tham số của cả hai mô hình, theo nghĩa là dữ liệu đến từ mật độ

$$f(x|m,\theta_1,\theta_2)=f_m(x|\theta_m)$$ tức là một trong hai tham số $\theta_{3-m}$ là không cần thiết một khi chỉ số mô hình $m$ được thiết lập.

Sau khi hoàn thành xong, phải chọn trước $(m,\theta_1,\theta_2)$, đó là

$$\pi(m,\theta_1,\theta_2)=\pi(m)\pi_m(\theta_m)\tilde\pi_m(\theta_{3-m})$$ nơi tôi biểu thị bởi $\pi(m)$ và $\pi_m(\theta_m)$các linh mục thực sự trên chỉ số mô hình và về tham số của từng mô hình. Bổ sung$\tilde\pi_m(\theta_{3-m})$ là miễn phí vì sau $\theta_{3-m}$ bằng với trước: $$\pi(m,\theta_1,\theta_2|x)=\pi(m|x)\pi_m(\theta_m|x)\tilde\pi_m(\theta_{3-m})$$ Dữ liệu không ảnh hưởng đến tham số mà nó không phụ thuộc. Và do đó suy luận về$\theta_m$ không bị ảnh hưởng bởi sự lựa chọn của $\tilde\pi_m(.)$. Trong thực tế, điều này có nghĩa là thuật toán mô phỏng từ mô hình tăng cường tạo ra

1. một tần số cho mỗi mô hình xấp xỉ xác suất sau của mô hình này
2. một chuỗi các tham số $\theta_m$ khi nào $m$ là chỉ số mô hình, được sử dụng để suy luận về tham số này
3. một chuỗi các tham số $\theta_{3-m}$ khi nào $m$ là chỉ số mô hình, được bỏ qua.

2. Làm thế nào để chúng ta vuông nó với trực giác của tôi và nhận xét của Plummer?

Ý nghĩa của Martyn Plummer trong nhận xét của anh ta là giả trước không quan trọng đối với tham số với chỉ số khác $m$ nhưng phải là đúng trước trên tham số với chỉ số hiện tại $3-m$. Điều này phù hợp 100% với giấy Carlin & Chib (1995) .

3. điều này có nghĩa là nó không thể chấp nhận được đối với các linh mục giả tương ứng chính xác với các linh mục thực sự?

Linh mục giả có thể được coi là linh mục thực sự, miễn là những điều này là đúng. Nhưng như Carlin & Chib (1995) chỉ ra, sẽ hiệu quả hơn nhiều khi lấy một xấp xỉ của hậu thế thực sự,$\pi_{3-m}(\theta_{3-m}|x)$, xấp xỉ có thể đạt được bằng cách chạy MCMC sơ bộ cho từng mô hình.

4. Điều gì xảy ra nếu biến chỉ báo bật và tắt một phần của mô hình với một vài tham số

Độ phân giải của câu hỏi hóc búa này là xem xét các bộ tham số khác nhau cho tất cả các mô hình khác nhau, nghĩa là không có tham số chung giữa hai mô hình bất kỳ. Nếu bạn đang ở trong một vấn đề lựa chọn biến, điều này có nghĩa là sử dụng một tham số khác và ký hiệu khác cho hệ số của biến$X_1$ khi nào $X_2$ là một phần của hồi quy và khi $X_2$không phải là một phần của hồi quy. Từ thời điểm này, sử dụng bất kỳ giả trước nào bạn muốn trên các tham số thừa.

5. @ Xi'an nghĩa là gì trong bình luận đầu tiên

Ý tôi là nếu xác suất truy cập vào hai mô hình không phải là xác suất trước đó, thì xác suất sau của một mô hình được ước tính theo tần số mô phỏng phải được sửa.