MCMC thích ứng có thể được tin cậy?


20

Tôi đang đọc về MCMC thích ứng (xem, ví dụ, Chương 4 của Sổ tay của Markov Chain Monte Carlo , biên tập Brooks và cộng sự, 2011; và cả Andrieu & Thoms, 2008 ).

Kết quả chính của Roberts và Rosenthal (2007) là nếu sơ đồ thích ứng thỏa mãn điều kiện thích nghi biến mất (cộng với một số kỹ thuật khác), MCMC thích nghi là bất kỳ phương án nào. Ví dụ, có thể dễ dàng thu được sự thích ứng bằng cách điều chỉnh toán tử chuyển tiếp ở lần lặp n với xác suất , với .p(n)limnp(n)= =0

Kết quả này là (một posteriori) trực quan, không có triệu chứng. Vì lượng thích ứng có xu hướng bằng không, cuối cùng nó sẽ không gây rối với tính linh hoạt. Mối quan tâm của tôi là những gì xảy ra với thời gian hữu hạn .

  • Làm thế nào để chúng ta biết rằng sự thích ứng không gây rối với tính linh hoạt tại một thời điểm hữu hạn nhất định và một bộ lấy mẫu đang lấy mẫu từ phân phối chính xác? Nếu nó có ý nghĩa gì cả, một người nên làm bao nhiêu để đảm bảo rằng việc thích ứng sớm không làm sai lệch chuỗi?

  • Các học viên trong lĩnh vực tin tưởng MCMC thích ứng? Lý do tôi hỏi là vì tôi đã thấy nhiều phương pháp gần đây cố gắng xây dựng sự thích ứng theo các cách khác, phức tạp hơn được biết là tôn trọng tính linh hoạt, chẳng hạn như phương pháp tái sinh hoặc đồng bộ (nghĩa là hợp pháp khi chọn chuyển đổi toán tử phụ thuộc vào trạng thái của các chuỗi song song khác). Ngoài ra, việc thích ứng chỉ được thực hiện trong quá trình burn-in, chẳng hạn như trong Stan , nhưng không phải trong thời gian chạy. Tất cả những nỗ lực này gợi ý cho tôi rằng MCMC thích ứng theo Roberts và Rosenthal (sẽ cực kỳ đơn giản để thực hiện) không được coi là đáng tin cậy; nhưng có lẽ có những lý do khác

  • Điều gì về việc triển khai cụ thể, chẳng hạn như đô thị thích nghi ( Haario et al. 2001 )?


Tài liệu tham khảo


1
+1 nhưng có đảm bảo thời gian hữu hạn ngay cả đối với MCMC không thích ứng không?
Juho Kokkala

2
@JuhoKokkala: có thể là không, nhưng có vẻ như với MCMC thích nghi, người ta sẽ thêm một lớp chế độ thất bại khác, ít được hiểu và khó kiểm tra hơn các vấn đề tiêu chuẩn về hội tụ (vốn đã khá khó chẩn đoán). Ít nhất, đó là sự hiểu biết của tôi về lý do tại sao các học viên (tôi, vì một người) sẽ cảnh giác với nó.
lacerbi

1
Tôi nghĩ rằng sự thích nghi trong quá trình burnin là cách tốt nhất để đối phó với sự thích nghi. Rõ ràng nếu bạn có một số khu vực phía sau yêu cầu điều chỉnh khác với các khu vực khác, bạn sẽ gặp vấn đề, nhưng nếu đó là trường hợp, nếu bạn chạy MCMC thích nghi hoàn toàn, bạn sẽ không được phép thích nghi nhiều vì điều kiện biến mất .. .
sega_sai

Câu trả lời:


2

Làm thế nào để chúng ta biết rằng sự thích ứng không gây rối với tính linh hoạt tại một thời điểm hữu hạn nhất định và một bộ lấy mẫu đang lấy mẫu từ phân phối chính xác? Nếu nó có ý nghĩa gì cả, một người nên làm bao nhiêu để đảm bảo rằng việc thích ứng sớm không làm sai lệch chuỗi?

Tính linh hoạt và thiên vị là về các đặc tính tiệm cận của chuỗi Markov, chúng không nói gì về hành vi và phân phối của chuỗi Markov at a given finite time. Khả năng thích ứng không liên quan gì đến vấn đề này, bất kỳ thuật toán MCMC nào cũng có thể tạo ra các mô phỏng cách xa mục tiêu at a given finite time.


1
(+1) Cảm ơn đã làm rõ. Vâng, tôi hiểu rằng các thuật toán MCMC không có gì đảm bảo at a given finite time. Tuy nhiên, trong thực tế, chúng tôi sử dụng chúng như thể chúng cung cấp xấp xỉ tốt / hợp lý phân phối mục tiêu tại một thời điểm hữu hạn nhất định, mặc dù trong hầu hết các trường hợp không có đảm bảo về mặt lý thuyết (AFAIK chỉ có một vài trường hợp được hiểu về mặt toán học). Có lẽ tôi nên nói "làm rối tung thời gian trộn "? Điều đó gần với những gì tôi muốn nói. Nếu bạn có gợi ý về cách sửa ngôn ngữ, vui lòng cho tôi biết.
lacerbi
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.