Thuật ngữ 'ma trận khối' Hamiltonian / Hybrid MCMC

Tôi đang cố gắng thực hiện HMC với một ma trận khối không chéo, nhưng đang bị vấp phải bởi một số thuật ngữ.

Theo đánh giá của BDA3 và Neal, thuật ngữ động năng (mà tôi đoán là luôn được sử dụng do sự thuận tiện) là

Điều này cũng được nhận biết gọi là đa biến bình thường với zero bình và hiệp phương sai ma trận . BDA3 (trg 301) nói$M$

Để đơn giản, chúng ta thường sử dụng ma trận khối chéo, M. Nếu vậy, các thành phần của là độc lập, với φj ∼ N (0, Mjj) cho mỗi kích thước j = 1 ,. . . , d. Nó có thể hữu ích cho M để chia tỷ lệ gần đúng với ma trận hiệp phương sai nghịch đảo của phân bố sau, (var (θ | y)) ^ - 1.

(Tôi đang đọc N (0, M)) dưới dạng bình thường đa biến với trung bình bằng 0 và hiệp phương sai M.)

Phần khiến tôi vấp ngã là nơi nói rằng "nó có thể hữu ích cho để mở rộng quy mô với ma trận hiệp phương sai nghịch đảo của phân phối sau ...". $M$

Và sau đó cũng chỉ là trước đó các mẫu đà bắt đầu các bước nhảy vọt ( ) được rút ra từ một bình thường đa biến với hiệp phương sai ma trận . $\phi$$M$

Vậy đó là cái gì? Để xây dựng một M tốt cho HMC, tôi có ước tính ma trận hiệp phương sai hoặc chính xác của hậu thế không? Mặc dù là ma trận hiệp phương sai của động năng, sử dụng là ước tính của ma trận chính xác của hậu thế sẽ mang lại thuật toán hiệu quả hơn?$M$$M$

Câu hỏi phụ: trực giác có thể hướng dẫn tôi ở đây là gì?

• Bạn có muốn sử dụng một ma trận chính xác để động lượng đẩy trực tiếp đến tiềm năng / sau để cải thiện sự pha trộn không?

• HOẶC bạn có muốn động lượng đẩy về phía phần khối lượng xác suất cao của hậu thế (bởi vì đó là nơi bạn muốn rút hầu hết các mẫu từ đó).

ps Lý do tôi không sử dụng ma trận danh tính cho là vì vấn đề của tôi, tôi tình cờ có thể có được ước tính hợp lý của ma trận hiệp phương sai của chiều sau khá cao (~ 1000) của tôi.$M$

Một phép biến đổi tuyến tính của các biến vị trí tương đương với phép biến đổi tuyến tính nghịch đảo của các biến động lượng. Lý tưởng nhất là bạn muốn lấy mẫu từ một phân phối (được chuyển đổi) có ma trận hiệp phương sai là ma trận danh tính và điều này có được nhờ phép biến đổi được chỉ ra ở trên.

Để biết chi tiết, có một lời giải thích hay trong "MCMC sử dụng động lực học Hamilton" của Neal, Chương 5 của Sổ tay của Markov Chain Monte Carlo , Phần 4.1 ("Hiệu ứng của biến đổi tuyến tính"). Chương này có sẵn ở đây .

Neal giải thích:

Giả sử chúng ta có một ước tính, , của ma trận hiệp phương sai cho và giả sử rằng có ít nhất một phân phối Gaussian. Làm thế nào chúng ta có thể sử dụng thông tin này để cải thiện hiệu suất của HMC? Một cách là biến đổi các biến sao cho ma trận hiệp phương sai của chúng gần với danh tính, bằng cách tìm phân tách Cholesky, , với là tam giác thấp hơn và để . [ ]q q Σ = L L T L q ' = L - 1 q $\Sigma$$q$$q$$\Sigma = LL^T$$L$$q^\prime = L^{−1}q$$\ldots$

Một cách tương đương để sử dụng hiệp phương sai ước tính là giữ các biến ban đầu , nhưng sử dụng hàm động năng - tức là chúng ta để các biến động lượng có hiệp phương sai . Có thể thấy sự tương đương bằng cách chuyển đổi động năng này để tương ứng với một phép biến đổi thành (xem phương trình (4.1)), cho với .q K ( p ) = p T Σ p / 2 Σ - 1 q ' = L - 1 q K ( p ' ) = ( p ' ) T M ' - 1 p ' M ' = ( L - 1 ( L L T ) ( L - 1 ) T ) - $\Sigma$$q$$K(p) = p^T \Sigma p/2$$\Sigma^{−1}$$q^\prime = L^{−1} q$$K(p^\prime) = (p^\prime)^T{M^\prime}^{−1}p^\prime$$M^\prime = (L^{−1}(LL^T)(L^{−1})^T)^{−1} = I$

Để đưa ra một số trực giác, giả sử rằng pdf mục tiêu có hình điếu xì gà chỉ theo một hướng không thẳng hàng với trục. Bạn có thể xoay và thu lại không gian, để điếu xì gà trở thành một quả bóng, sau đó rút mô men từ một đơn vị đa biến bình thường, hoặc tương đương bạn có thể giữ không gian ban đầu và vẽ khoảnh khắc của bạn sao cho chúng thẳng hàng với điếu xì gà (ví dụ: với hầu hết vận tốc dọc theo trục chính của điếu xì gà, để bạn có thể khám phá nó một cách nhanh chóng).

Một cách đơn giản để xem tại sao phải là hiệp phương sai nghịch đảo của phân phối mà bạn muốn mẫu từ là để xem xét lấy mẫu từ một bình thường đa biến với trung bình aribitrary μ và phương sai Σ . Trong trường hợp này, các phương trình chuyển động của Hamilton có thể được giải chính xác (nghĩa là không cần tích hợp bước nhảy vọt). Bây giờ, đối với M = Σ - 1 hai kỳ diệu điều xảy ra: (i) các phương trình của chuyển động cho từng phối hợp tách biệt với phần còn lại, và (ii) các ma trận Σ và $M$$\mu$$\Sigma$$M=\Sigma^{-1}$$\Sigma$$M$triệt tiêu lẫn nhau và biến mất khỏi các phương trình chuyển động. Giải pháp là một tập hợp các oscilator với tần số bằng nhau, có thể được lập luận để mang lại sự pha trộn nhanh nhất có thể. Xem một số chi tiết trong eqs (2.31) - (2.35) tại đây .

Trong một phân phối chung, cách tiếp cận này sẽ chỉ là một xấp xỉ.

Phần nổi của động lượng biến đổi tuyến tính sử dụng hiệp phương sai ước tính.

Với ước tính Σ của ma trận hiệp phương sai của HMC sau là mẫu từ:$\hat{\Sigma}$

1. $\phi \sim N(0, \hat{\Sigma}^{-1})$

2. Mô phỏng động lực học Hamilton. (Lặp lại L lần)

   $\phi \leftarrow \phi + \frac{1}{2}\epsilon \frac{d}{d\theta}\mathrm{log}p(\theta \mid y)$

   $\theta \leftarrow \theta + \epsilon \hat{\Sigma}\phi$

   $\phi \leftarrow \phi + \frac{1}{2}\epsilon \frac{d}{d\theta}\mathrm{log} p(\theta \mid y)$

3. Chấp nhận / từ chối.

(Nếu điều này đúng, đừng upvote cái này, upvote @lacerbi)