Khi nào thì người ta sẽ sử dụng lấy mẫu Gibbs thay vì Metropolis-Hastings?


20

Có nhiều loại thuật toán MCMC khác nhau:

  • Thủ đô-Hastings
  • Vượn
  • Lấy mẫu quan trọng / từ chối (liên quan).

Tại sao người ta sẽ sử dụng lấy mẫu Gibbs thay vì Metropolis-Hastings? Tôi nghi ngờ có những trường hợp khi suy luận có thể dễ dàng hơn với việc lấy mẫu Gibbs so với với Metropolis-Hastings, nhưng tôi không rõ về chi tiết cụ thể.


3
Ngoài đỉnh đầu của tôi (đã được một thời gian, vì vậy tôi không đăng bài này dưới dạng câu trả lời), Gibbs nhanh hơn khi nó hoạt động, trong khi đó, Metropolis-Hastings có thể đối phó với nhiều mô hình khác nhau, vì nó không bị giới hạn đến các bước trực giao trong không gian tham số.
Chuyên gia Kodi

4
Bạn có thể hoặc không thể biết rằng Gibbs có thể được xem như là một ví dụ của Metropolis-Hastings, vì vậy bạn có thể muốn làm rõ rằng bạn có ý nghĩa gì đó như "Metropolis-Hastings với các bản phân phối chuyển tiếp địa phương."
Dougal

Câu trả lời:


22

Đầu tiên, hãy để tôi lưu ý [một chút về mặt giáo dục] rằng

Có một số loại thuật toán MCMC khác nhau: Metropolis-Hastings, Gibbs, lấy mẫu quan trọng / từ chối (liên quan).

tầm quan trọng và phương pháp lấy mẫu từ chối không phải là thuật toán MCMC vì chúng không dựa trên chuỗi Markov. Trên thực tế, lấy mẫu quan trọng không tạo ra mẫu từ phân phối mục tiêu, , nhưng chỉ có trọng số quan trọng ω nói, được sử dụng trong các xấp xỉ tích phân liên quan đến f . Sử dụng các trọng số này làm xác suất để tạo ra một mẫu không dẫn đến một mẫu thích hợp từ f , mặc dù các ước tính không thiên vị về các kỳ vọng theo f có thể được tạo ra.fωfff

Thứ hai, câu hỏi

Tại sao một người nào đó đi lấy mẫu Gibbs thay vì Metropolis-Hastings? Tôi nghi ngờ có những trường hợp khi suy luận có thể dễ dàng hơn với việc lấy mẫu Gibbs hơn là với Metropolis-Hastings

không có câu trả lời trong đó một bộ lấy mẫu của Metropolis-Hastings có thể là hầu hết mọi thứ, kể cả bộ lấy mẫu Gibbs. Tôi đã trả lời bằng các thuật ngữ khá chi tiết cho một câu hỏi trước đó và tương tự. Nhưng hãy để tôi thêm một vài điểm nếu dư thừa ở đây:

Lý do chính tại sao việc lấy mẫu Gibbs được đưa ra là để phá vỡ lời nguyền về chiều (tác động đến cả việc từ chối và lấy mẫu quan trọng) bằng cách tạo ra một chuỗi các mô phỏng kích thước thấp vẫn hội tụ đúng mục tiêu. Mặc dù kích thước của mục tiêu tác động đến tốc độ hội tụ. Các công cụ lấy mẫu của Metropolis-Hastings được thiết kế để tạo ra chuỗi Markov (như lấy mẫu Gibbs) dựa trên đề xuất (như lấy mẫu quan trọng và từ chối) bằng cách sửa mật độ sai thông qua bước từ chối chấp nhận. Nhưng một điểm quan trọng là chúng không bị phản đối: cụ thể là, việc lấy mẫu Gibbs có thể yêu cầu các bước của Metropolis-Hastings khi phải đối mặt với các mục tiêu có điều kiện có kích thước thấp, trong khi các đề xuất của Metropolis-Hastings có thể được xây dựng dựa trên các điều kiện gần đúng (Gibbs). Trong một định nghĩa chính thức, Lấy mẫu Gibbs là một trường hợp đặc biệt của thuật toán Hắc ám với xác suất chấp nhận một. (Nhân tiện, tôi phản đối việc sử dụngsuy luận trong trích dẫn đó, như tôi sẽ bảo lưu nó cho mục đích thống kê , trong khi những người lấy mẫu đó là các thiết bị số .)

Thông thường, lấy mẫu Gibbs [được hiểu là chạy một chuỗi các mô phỏng có điều kiện chiều thấp] được ưa chuộng trong các cài đặt trong đó việc phân tách thành các điều kiện như vậy rất dễ thực hiện và chạy nhanh. Trong các cài đặt nơi phân tách như vậy gây ra đa phương thức và do đó khó di chuyển giữa các chế độ (mô hình biến tiềm ẩn như mô hình hỗn hợp xuất hiện), sử dụng đề xuất toàn cầu hơn trong thuật toán Hắc ám có thể mang lại hiệu quả cao hơn. Nhưng nhược điểm là việc lựa chọn phân phối đề xuất trong thuật toán Hắc ám.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.