Lấy mẫu Gibbs so với MH-MCMC chung

20

Tôi vừa mới đọc một số bài về lấy mẫu Gibbs và thuật toán của Metropolis Hastings và có một vài câu hỏi.

Theo tôi hiểu, trong trường hợp lấy mẫu Gibbs, nếu chúng ta gặp vấn đề đa biến lớn, chúng ta lấy mẫu từ phân phối có điều kiện tức là lấy một biến trong khi giữ tất cả các biến khác trong khi ở MH, chúng ta lấy mẫu từ phân phối chung đầy đủ.

Một điều mà tài liệu nói là mẫu được đề xuất luôn được chấp nhận trong Gibbs Sampling, tức là tỷ lệ chấp nhận đề xuất luôn là 1. Đối với tôi đây có vẻ là một lợi thế lớn vì đối với các vấn đề đa biến lớn, dường như tỷ lệ loại bỏ đối với thuật toán MH trở nên khá lớn . Nếu đó thực sự là trường hợp, lý do đằng sau việc không sử dụng Gibbs Sampler mọi lúc để tạo phân phối sau?

— Luca
nguồn

11

Một đề xuất MH đa biến được xây dựng tốt có thể vượt trội so với lấy mẫu Gibbs, ngay cả khi lấy mẫu từ các điều kiện là có thể (ví dụ như đa biến đa chiều thông thường, HMC đánh bại Gibbs bằng một biên độ rộng khi các biến có tương quan cao). Điều này là do lấy mẫu Gibbs không cho phép các biến phát triển chung. Nó tương tự như tối ưu hóa một chức năng bằng cách lặp lại tối ưu hóa các đối số riêng lẻ - bạn có thể làm tốt hơn nếu bạn tối ưu hóa tất cả các đối số cùng nhau thay vì từng đối số liên tiếp, mặc dù việc thực hiện sau sẽ dễ dàng hơn .

— anh chàng

Thủ đô-Hastings có thể lấy mẫu bằng cách sử dụng các đề xuất cho một điều kiện. Bạn đang đề cập đến một loại MH đặc biệt ?

— Glen_b -Reinstate Monica

1

Cảm ơn đã bình luận. Không, tôi chỉ nghĩ chung chung tại sao Gibbs Sampler không được sử dụng thường xuyên hơn. đã bỏ lỡ thực tế là hình thức phân phối có điều kiện phải được biết đến từ mẫu thử Gibbs. Đối với nhu cầu hiện tại của tôi, có vẻ như một sự kết hợp hoạt động tốt nhất. Vì vậy, sử dụng bước MH cho một tập hợp con của các tham số trong khi giữ cho các tham số khác không đổi và sau đó sử dụng Gibbs cho tập hợp con khác (trong đó các điều kiện dễ đánh giá phân tích). Tôi chỉ mới bắt đầu về điều này, vì vậy chưa biết về nhiều loại MH. Mọi lời khuyên về điều đó đều được đánh giá cao :-)

— Luca

12

lý do chính đằng sau việc sử dụng thuật toán đô thị nằm ở chỗ bạn có thể sử dụng nó ngay cả khi kết quả sau không rõ. Để lấy mẫu Gibbs, bạn phải biết các bản phân phối sau mà bạn rút ra các biến thể từ đó.

— người dùng3777456
nguồn

1

Cảm ơn vi đa trả lơi! Vì vậy, với GS, ý tưởng là các điều kiện là các phân phối đơn giản hơn có thể được lấy mẫu từ khá dễ dàng trong khi phân phối chung, trong khi được biết, có thể là một phân phối phức tạp khó lấy mẫu từ đâu?

— Luca

2

Đúng vậy đây là sự thật. Tuy nhiên, thường thì việc lấy mẫu Gibbs và Đô thị được sử dụng cùng nhau. Vì vậy, việc điều chỉnh một số biến có thể mang lại cho bạn một dạng sau, trong khi đối với các biến khác, điều này là không thể và bạn phải sử dụng "bước đô thị". Trong trường hợp này, bạn phải quyết định loại hình lấy mẫu nào (độc lập, đi bộ ngẫu nhiên) và loại mật độ đề xuất nào bạn sử dụng. Nhưng tôi đoán điều này đi hơi xa và bạn nên đọc những thứ này cho chính mình trước.

— dùng3777456

3

Lấy mẫu Gibbs phá vỡ lời nguyền về chiều trong lấy mẫu vì bạn đã chia không gian tham số (có thể là chiều cao) thành nhiều bước chiều thấp. Metropolis-Hastings làm giảm bớt một số vấn đề về kích thước của việc tạo ra các công nghệ lấy mẫu từ chối, nhưng bạn vẫn đang lấy mẫu từ một phân phối đa biến đầy đủ (và quyết định chấp nhận / từ chối mẫu) khiến thuật toán phải chịu lời nguyền của chiều.

Hãy nghĩ về nó theo cách đơn giản hóa này: việc đề xuất cập nhật cho một biến tại một thời điểm (Gibbs) dễ dàng hơn nhiều so với tất cả các biến đồng thời (Metropolis Hastings).

Như đã nói, tính chiều của không gian tham số vẫn sẽ ảnh hưởng đến sự hội tụ trong cả Gibbs và Metropolis Hastings vì có nhiều tham số có khả năng không thể hội tụ.

Gibbs cũng tốt vì mỗi bước của vòng lặp Gibbs có thể ở dạng kín. Đây thường là trường hợp trong các mô hình phân cấp trong đó mỗi tham số chỉ dựa trên một vài tham số khác. Việc xây dựng mô hình của bạn thường khá đơn giản để mỗi bước Gibbs ở dạng kín (khi mỗi bước được liên hợp, đôi khi nó được gọi là "bán liên hợp"). Điều này là tốt vì bạn đang lấy mẫu từ các bản phân phối đã biết thường có thể rất nhanh.

— TrynnaDoStat
nguồn

"Lấy mẫu Gibbs phá vỡ lời nguyền về tính chiều trong lấy mẫu": thực ra, việc lấy mẫu Gibbs có xu hướng làm tồi tệ hơn nhiều so với những thứ như Metropolis Hastings với ma trận hiệp phương sai đề xuất thích nghi.

— Vách đá AB