Nhầm lẫn liên quan đến lấy mẫu Gibbs

Tôi đã xem qua bài viết này nơi nó nói rằng trong mẫu Gibbs, mọi mẫu đều được chấp nhận. Tôi la một chut Nhâm lân. Làm thế nào đến nếu mỗi mẫu nó chấp nhận nó hội tụ đến một phân phối cố định.

Nói chung Thuật toán đô thị, chúng tôi chấp nhận là min (1, p (x *) / p (x)) trong đó x * là điểm mẫu. Tôi giả sử rằng x * chỉ chúng ta đến một vị trí có mật độ cao để chúng ta chuyển sang phân phối mục tiêu. Do đó, tôi cho rằng nó chuyển sang phân phối mục tiêu sau khi bị đốt cháy trong khoảng thời gian.

Tuy nhiên, trong lấy mẫu Gibbs, chúng tôi chấp nhận mọi thứ vì vậy mặc dù nó có thể đưa chúng tôi đến một nơi khác, làm thế nào chúng tôi có thể nói rằng nó hội tụ đến phân phối tĩnh / mục tiêu

Giả sử chúng ta có một bản phân phối . Chúng tôi không thể tính Z. Trong thuật toán đô thị, chúng tôi sử dụng thuật ngữ để kết hợp phân phối cộng với hằng số chuẩn hóa Z hủy bỏ. Vậy là tốt rồi $p(\theta) = c(\theta)/Z$ $c(\theta^{new})/c(\theta^{old})$ $c(\theta)$

Nhưng trong lấy mẫu Gibbs, chúng ta đang sử dụng phân phối $c(\theta)$

Ví dụ: trong bài viết http://books.nips.cc/ con / files / nips25 / NIPS2012_0921.pdf đã cho

vì vậy chúng tôi không có phân phối có điều kiện chính xác để lấy mẫu từ đó, chúng tôi chỉ có một cái gì đó tỷ lệ thuận với phân phối có điều kiện

nhập mô tả hình ảnh ở đây

mcmc gibbs metropolis-hastings

— người dùng34790
nguồn

Điều gì sẽ xảy ra ở Metropolis-Hastings nếu luôn là 1?

p (x *) / p (x)

$p(x*)/p(x)$

— Glen_b -Reinstate Monica

Câu trả lời:

Khi chúng tôi sử dụng thuật toán Metropolis-Hastings, chúng tôi phải tính tỷ lệ chấp nhận và để biến ngẫu nhiên thì chúng tôi chấp nhận biến ngẫu nhiên nếu .

α = min (1, \frac{p (x^{*})}{p (x)})

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$

U < α

$U<\alpha$

Tuy nhiên, trong lấy mẫu Gibbs, chúng tôi luôn ngoại trừ biến ngẫu nhiên vì chúng tôi không phải tính tỷ lệ chấp nhận (bạn thực sự làm nhưng khi bạn cắm mọi thứ vào thì bạn thấy mọi thứ đều bị hủy và tỷ lệ chấp nhận của bạn là và rất rõ ràng luôn nhỏ hơn và do đó bạn luôn chấp nhận). Tuy nhiên, bạn cũng có thể nghĩ về nó bằng trực giác khi lấy mẫu Gibbs mà bạn đang lấy mẫu từ các điều kiện đầy đủ là biểu thức dạng đóng mà chúng ta có thể lấy mẫu trực tiếp và do đó không cần phải từ chối các mẫu như trong thuật toán Metropolis-Hastings không biết cách lấy mẫu từ (hoặc thường không nhận ra dạng) . Mong rằng sẽ giúp! $\alpha=1$ $U$ $\alpha$ $p(x)$

nhập mô tả hình ảnh ở đây

Tôi đã không nhận được nó làm thế nào mọi thứ hủy bỏ. Vâng, giả sử chúng ta phải lấy mẫu từ phân phối gồm 3 biến. Vì vậy, khi bạn muốn nói điều kiện đầy đủ trong biểu thức dạng đóng, bạn có nghĩa là p (x1 | x2, x3) p (x2 | x1, x3) và p (x3 | x1, x2). Câu hỏi của tôi là trong trường hợp lấy mẫu Gibbs, chúng tôi biết phân phối có điều kiện thu được từ phân phối p thực tế mà chúng tôi muốn lấy mẫu. Đó có phải là ý bạn không. Trong trường hợp thuật toán của Metropolis, chúng ta không biết p nhưng một cái gì đó giống như c sao cho p (x) = c (x) / Z ??

p (θ)

$p(\theta)$

— dùng34790

Giả sử chúng ta bắt đầu với các giá trị ngẫu nhiên cho các biến x1, x2 và x3, làm thế nào chúng ta có thể nói rằng phân phối cố định của nó hội tụ một yêu cầu. Các tiêu chí cho điều đó là gì?

— dùng34790

Giả sử tôi có một bản phân phối . Tôi không biết Z. Vậy tôi sẽ lấy mẫu từ bằng cách sử dụng lấy mẫu Gibbs

p (θ) = c (θ) / Z

$p(\theta) = c(\theta)/Z$

p (θ)

$p(\theta)$

— user34790

Tôi đã thêm một bằng chứng ở trên về lý do tại sao nó luôn luôn là một. Để sử dụng lấy mẫu Gibbs, bạn cần biết các điều kiện đầy đủ là gì.

Bằng chứng là tỷ lệ chấp nhận bằng 1 như một lỗi đánh máy, tức là trong mẫu số ở phần giữa và phần ba, biểu thức cho q nên có số nguyên tố z_i, để cuối cùng bạn nhận được P (z_i Prime | z_i Prime).

Alex

— người dùng60804
nguồn