Phân phối đề xuất ma trận hiệp phương sai

8

Trong triển khai MCMC của các mô hình phân cấp, với các hiệu ứng ngẫu nhiên bình thường và Wishart trước cho ma trận hiệp phương sai của chúng, thường lấy mẫu Gibbs.

Tuy nhiên, nếu chúng ta thay đổi phân phối các hiệu ứng ngẫu nhiên (ví dụ: thành Student-t hoặc một hiệu ứng khác), tính liên hợp sẽ bị mất. Trong trường hợp này, điều gì sẽ là phân phối đề xuất phù hợp (nghĩa là có thể điều chỉnh dễ dàng) cho ma trận hiệp phương sai của các hiệu ứng ngẫu nhiên trong thuật toán Metropolis-Hastings, và tỷ lệ chấp nhận mục tiêu, lại là 0,234?

Cảm ơn trước cho bất kỳ con trỏ.

mcmc hierarchical-bayesian metropolis-hastings

— Gian hàng Toka
nguồn

16

Chà, nếu bạn đang tìm kiếm "cho bất kỳ con trỏ" ...

Phân phối Wishart (tỷ lệ) (nghịch đảo) thường được sử dụng vì nó được liên hợp với hàm khả năng đa biến và do đó đơn giản hóa việc lấy mẫu Gibbs.

Trong Stan , nơi sử dụng lấy mẫu Hamiltonian Monte Carlo, không có giới hạn đối với các linh mục đa biến. Phương pháp khuyến cáo là chiến lược tách đề nghị của Barnard, McCulloch và Meng : nơi là một vector của các nhà phát triển std và là một ma trận tương quan.

Σ = = diag_matrix (σ) Ω diag_matrix (σ)

$\Sigma=\text{diag_matrix}(\sigma)\;\Omega\;\text{diag_matrix}(\sigma)$

σ

$\sigma$

Ω

$\Omega$

Các thành phần của có thể được đưa ra bất kỳ hợp lý trước. Như để , các khuyến cáo trước là nơi "LKJ" có nghĩa là Lewandowski, Kurowicka và Joe . Như tăng, trước khi ngày càng tập trung xung quanh ma trận tương quan đơn vị, tại sự phân bố tương quan LKJ làm giảm sự phân bố sắc trên ma trận tương quan. Do đó, LKJ có thể được sử dụng để kiểm soát lượng tương quan dự kiến giữa các tham số. $\sigma$ $\Omega$

Ω ~ LKJcorr (ν)

$\Omega\sim\text{LKJcorr}(\nu)$

ν

$\nu$

ν = 1

$\nu=1$

Tuy nhiên, tôi chưa (chưa) thử phân phối hiệu ứng ngẫu nhiên không bình thường, vì vậy tôi hy vọng tôi đã không bỏ lỡ điểm nào ;-)

— Sergio
nguồn

Câu trả lời này nói về việc trước, OP hỏi về đề xuất ... Liệu các linh mục này có giúp tỷ lệ chấp nhận theo một cách nào đó không?

— Một ông già ở biển.

@Sycorax Còn đề xuất mà OP yêu cầu thì sao? Anh ta nên sử dụng cái gì, và với thông số gì?

— Một ông già ở biển.

1

$\Sigma^*$ $\Sigma$

Σ^{*} ~ W (Σ / một, một),

$\Sigma^* \sim \mathcal{W}(\Sigma/a,a),$

a

$a$

E [Σ^{*}] = Σ

$E[\Sigma^*]=\Sigma$

a

$a$

(p \times p)

$(p\times p)$

\frac{q (Σ \to Σ^{*})}{q (Σ^{*} \to Σ)} = = {(\frac{| Σ^{*} |}{| Σ |})}^{một - (p - 1) / 2} \cdot e^{[t r ({Σ^{*}}^{- 1} Σ) - t r (Σ^{- 1} Σ^{*})] \cdot một / 2}

$\frac{q(\Sigma\to\Sigma^*)}{q(\Sigma^*\to\Sigma)} = \left(\frac{|\Sigma^*|}{|\Sigma|}\right)^{a-(p-1)/2} \cdot e^{[tr({\Sigma^*}^{-1}\Sigma)-tr({\Sigma}^{-1}\Sigma^*)] \cdot a/2}$

— RemiDav
nguồn

0

Người ta biết rằng nếu bạn sử dụng các bản phân phối không phải Gaussian, tính liên hợp của mô hình sẽ bị mất, xem:

http://www.utstat.toronto.edu/wordpress/WSFiles/technicalreports/0610.pdf

Sau đó, bạn cần sử dụng các phương pháp MCMC khác, chẳng hạn như Metropolis trong lấy mẫu Gibbs hoặc một số phiên bản thích ứng của nó. May mắn thay, có một gói R để làm như vậy:

http://cran.r-project.org/web/packages/spBayes/index.html

Tỷ lệ chấp nhận được đề nghị là 0,44 nhưng, tất nhiên, có một số giả định đằng sau con số này, tương tự như trong trường hợp của 0,234.

Bạn có THE Dimitris Rizopoulos?

— Teco
nguồn

@DimitrisRizopoulos Đô thị thích nghi với Gibbs mà tôi đã đề cập sử dụng hỗn hợp hữu hạn của các phân phối Gaussian làm phân phối đề xuất (như đã nêu trong báo cáo kỹ thuật tôi đã đăng). Nếu bạn sử dụng đô thị khó tính, thì bạn đang yêu cầu một câu trả lời cho "câu hỏi triệu đô la", mà không có giải pháp chung. Thông thường bạn phải chơi với các đề xuất khác nhau và tỷ lệ chấp nhận khác nhau. Nhân tiện, cuốn sách rất hay.

— Teco

0

Bất kỳ đề xuất nào cũng có thể được sử dụng nếu bạn xác định đúng log-posterior của mình. Bạn chỉ cần sử dụng một số thủ thuật để thực hiện nó và xác định đúng sự hỗ trợ của hậu thế của bạn, xem:

Làm thế nào để tìm sự hỗ trợ của phân phối sau để áp dụng thuật toán MCMC của Metropolis-Hastings?

Có rất nhiều ví dụ trong đó một đề xuất Gaussian có thể được sử dụng cho các hậu thế bị cắt ngắn. Đây chỉ là một thủ thuật thực hiện. Một lần nữa, bạn đang hỏi một câu hỏi không có giải pháp chung. Một số đề xuất thậm chí có hiệu suất khác nhau cho cùng một mô hình và các bộ dữ liệu khác nhau.

Chúc may mắn.

— Meth
nguồn

Chà, có tính đến việc ma trận hiệp phương sai cần phải có giá trị xác định dương, có vẻ như tôi không hợp lý khi sử dụng bất kỳ phân phối đề xuất nào. Các ma trận đề xuất cần phải được xác định tích cực. Một lựa chọn sẽ là đề xuất điều kiện sau Wishart được sử dụng trong lấy mẫu Gibbs, tuy nhiên điều này dường như không hoạt động đặc biệt khi tôi giả định rằng các sinh viên cho các hiệu ứng ngẫu nhiên. Do đó câu hỏi của tôi, có các loại đề xuất khác cho ma trận hiệp phương sai không?

— Toka Stall