Trường hợp nào các điều kiện đầy đủ đến từ mẫu Gibbs?

Các thuật toán MCMC như lấy mẫu của Metropolis-Hastings và Gibbs là cách lấy mẫu từ các bản phân phối sau.

Tôi nghĩ rằng tôi hiểu và có thể thực hiện việc quét đô thị khá dễ dàng - bạn chỉ cần chọn điểm bắt đầu bằng cách nào đó và 'đi bộ không gian tham số' một cách ngẫu nhiên, được hướng dẫn bởi mật độ đề xuất và mật độ đề xuất. Lấy mẫu Gibbs có vẻ rất giống nhau nhưng hiệu quả hơn vì nó chỉ cập nhật một tham số tại một thời điểm, trong khi giữ cho các tham số khác không đổi, đi bộ không gian một cách hiệu quả theo kiểu trực giao.

Để làm điều này, bạn cần có điều kiện đầy đủ của từng tham số trong phân tích từ *. Nhưng những điều kiện đầy đủ này đến từ đâu? Để có được mẫu bạn cần phải cách ly các doanh trênx1. Điều đó có vẻ như là rất nhiều công việc phải phân tích nếu có nhiều tham số và có thể không thể thực hiện được nếu phân phối chung không 'rất đẹp'. Tôi nhận ra rằng nếu bạn sử dụng liên hợp trong suốt mô hình, các điều kiện đầy đủ có thể dễ dàng, nhưng phải có cách tốt hơn cho các tình huống chung hơn.

Tất cả các ví dụ về lấy mẫu Gibbs mà tôi đã thấy trực tuyến sử dụng các ví dụ đồ chơi (như lấy mẫu từ một thông thường đa biến, trong đó các điều kiện chỉ là chính quy tắc), và dường như tránh được vấn đề này.

* Hay bạn cần các điều kiện đầy đủ ở dạng phân tích? Làm thế nào để các chương trình như winBUGS làm điều đó?

Vâng, bạn đã đúng, phân phối có điều kiện cần được tìm thấy một cách phân tích, nhưng tôi nghĩ có rất nhiều ví dụ trong đó phân phối có điều kiện đầy đủ dễ tìm và có hình thức đơn giản hơn nhiều so với phân phối chung.

Trực giác cho điều này là như sau, trong hầu hết các phân phối chung "thực tế" , hầu hết các X i thường không phụ thuộc điều kiện vào hầu hết các biến ngẫu nhiên khác. Điều đó có nghĩa là, một số biến có tương tác cục bộ , giả sử X i phụ thuộc vào X i - 1 và X i + 1 , nhưng không tương tác với mọi thứ, do đó các phân phối có điều kiện nên đơn giản hóa đáng kể như P r $P(X_1,\dots,X_n)$$X_i$$X_i$$X_{i-1}$$X_{i+1}$$Pr(X_i|X_1, \dots, X_i) = Pr(X_i|X_{i-1}, X_{i+1})$

Tôi nghĩ rằng bạn đã bỏ lỡ lợi thế chính của các thuật toán như của Metropolis-Hastings. Để lấy mẫu Gibbs, bạn sẽ cần lấy mẫu từ các điều kiện đầy đủ. Bạn nói đúng, điều đó hiếm khi dễ làm. Ưu điểm chính của thuật toán Metropolis-Hastings là bạn vẫn có thể lấy mẫu một tham số tại một thời điểm, nhưng bạn chỉ cần biết các điều kiện đầy đủ theo tỷ lệ. Điều này là do mẫu số hủy trong hàm tiêu chí chấp nhận

Các điều kiện đầy đủ không chuẩn hóa thường có sẵn. Ví dụ, trong ví dụ của bạn $P(x_1 | x_2,...,x_n) \propto P(x_1,...,x_n)$, mà bạn có. Bạn không cần phải thực hiện bất kỳ tích phân nào. Trong hầu hết các ứng dụng, rất nhiều khả năng sẽ hủy quá.

Các chương trình như WinBugs / Jags thường thực hiện các bước lấy mẫu của Metropolis-Hastings hoặc lát chỉ yêu cầu các điều kiện theo tỷ lệ. Đây là dễ dàng có sẵn từ DAG. Được liên hợp, đôi khi họ cũng thực hiện các bước Gibbs thẳng hoặc dừng khối ưa thích.