Hamilton monte carlo

Ai đó có thể giải thích ý tưởng chính đằng sau phương pháp Hamiltonian Monte Carlo và trong trường hợp nào họ sẽ mang lại kết quả tốt hơn phương pháp Markov Chain Monte Carlo?

Tôi tin rằng nguồn cập nhật nhất về Hamiltonian Monte Carlo, các ứng dụng thực tế và so sánh với các phương pháp MCMC khác là tài liệu đánh giá năm 2017 này của Betancourt:

Thách thức cuối cùng trong việc ước tính các kỳ vọng xác suất là định lượng tập hợp điển hình của phân phối mục tiêu, một tập hợp tập trung gần một bề mặt phức tạp trong không gian tham số. Hamiltonian Monte Carlo tạo ra sự thăm dò mạch lạc các phân phối mục tiêu trơn tru bằng cách khai thác hình học của tập hợp điển hình. Việc thăm dò hiệu quả này không chỉ mang lại hiệu quả tính toán tốt hơn các thuật toán Monte Carlo chuỗi Markov khác, mà còn đảm bảo mạnh mẽ hơn về tính hợp lệ của các công cụ ước tính kết quả. Hơn nữa, phân tích cẩn thận về hình học này tạo điều kiện cho các chiến lược nguyên tắc tự động xây dựng các triển khai phương pháp tối ưu, cho phép người dùng tập trung chuyên môn vào việc xây dựng các mô hình tốt hơn thay vì vật lộn với sự thất vọng của tính toán thống kê. Kết quả làStan (Nhóm phát triển Stan, 2017).

Hamiltonian Monte Carlo ( HMC ), ban đầu được gọi là Hybrid Monte Carlo, là một dạng của Markov Chain Monte Carlo với một thuật ngữ động lượng và sửa chữa.

"Hamiltonian" dùng để chỉ cơ học Hamilton.

Ca sử dụng là ngẫu nhiên (ngẫu nhiên) khám phá các kích thước cao để tích hợp số trên một không gian xác suất.

Tương phản với MCMC

Plain / vanilla Markov Chain Monte Carlo (MCMC) chỉ sử dụng trạng thái cuối cùng để xác định trạng thái tiếp theo. Điều đó có nghĩa là bạn có khả năng đi tiếp như bạn sẽ quay trở lại không gian mà bạn đã khám phá.

MCMC cũng có khả năng trôi ra ngoài khu vực quan tâm chính trong không gian chiều cao.

Điều này làm cho MCMC rất kém hiệu quả cho các mục đích tích hợp số trên một không gian xác suất đa chiều.

Cách thức xử lý các vấn đề này

Bằng cách thêm vào một thuật ngữ động lượng, HMC làm cho việc khám phá không gian xác suất hiệu quả hơn, vì giờ đây bạn có nhiều khả năng tiến bộ hơn về phía trước với mỗi bước qua không gian xác suất của bạn.

HMC cũng sử dụng các hiệu chỉnh của Metropolis-Hastings để đảm bảo nó ở lại và khám phá khu vực có xác suất cao hơn.

Khi viết câu trả lời này, tôi thấy bài thuyết trình này trên HMC khá sáng sủa.