Liệu một MCMC hoàn thành số dư chi tiết có mang lại phân phối cố định không?

Tôi đoán tôi hiểu phương trình của điều kiện cân bằng chi tiết, trong đó nêu rõ rằng đối với xác suất chuyển tiếp và phân phối cố định π , Chuỗi Markov thỏa mãn cân bằng chi tiết nếu q ( x | y ) π ( y ) = q ( y | x ) π ( x ) $q$$\pi$

$$q(x|y)\pi(y)=q(y|x)\pi(x),$$

điều này có ý nghĩa hơn với tôi nếu tôi nói lại như sau:

$$\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}.$$

Về cơ bản, xác suất chuyển từ trạng thái sang trạng thái y phải tỷ lệ thuận với tỷ lệ mật độ xác suất của chúng.$x$$y$

Không đúng khi MCMC hoàn thành số dư chi tiết luôn mang lại sự phân phối ổn định. Bạn cũng cần quá trình để được ergodic . Hãy xem tại sao:

Coi là trạng thái của tập hợp tất cả các trạng thái có thể và xác định nó bằng chỉ số i . Trong quy trình markov, phân phối p t ( i ) phát triển theo$x$$i$$p_t(i)$

$$p_t(i) = \sum_{j} \Omega_{j \rightarrow i} p_{t-1}(j)$$

$\Omega_{j \rightarrow i}$$q(x|y)$

Vì vậy, chúng tôi có điều đó

$$p_t(i) = \sum_{j} (\Omega_{j \rightarrow i})^t p_{0}(j)$$

$\Omega_{j \rightarrow i}$

$p_{0}(j)$

• $\Omega$

$\pi$

• $\pi$

Tính linh hoạt ngụ ý 1., cân bằng chi tiết ngụ ý 2., và đó là lý do tại sao cả hai tạo thành một điều kiện cần và đủ của sự hội tụ tiệm cận.

Tại sao số dư chi tiết ngụ ý 2:

Bắt đầu từ

$$p(i)\Omega_{ij} = \Omega_{ji} p(j)$$

$j$

$$p(i) = \sum_{j}\Omega_{ji} p(j)$$

$\sum_{j} \Omega_{ij} = 1$

Phương trình trên là định nghĩa của eigenvalue 1, (dễ thấy hơn nếu bạn viết nó dưới dạng vector :)

$$1.v = \Omega\cdot v$$

Tôi nghĩ là có, bởi vì đối với một MC không thể giảm nếu sự cân bằng chi tiết được thỏa mãn thì nó có một phân phối cố định duy nhất, nhưng để nó độc lập với phân phối ban đầu thì nó cũng phải là một chu kỳ.

Trong trường hợp của MCMC, chúng tôi bắt đầu từ một điểm dữ liệu và sau đó đề xuất một điểm mới. Chúng tôi có thể hoặc không thể di chuyển đến điểm được đề xuất, tức là chúng tôi có một vòng lặp tự làm cho một MC không thể sửa chữa thành một chu kỳ.

Bây giờ nhờ đáp ứng DB, nó cũng có các trạng thái tái phát tích cực, nghĩa là thời gian quay trở lại các trạng thái là hữu hạn. Vì vậy, chuỗi mà chúng tôi xây dựng trong MCMC là không thể sửa chữa, tái phát định kỳ và tích cực, có nghĩa là nó là một chuỗi ergodic.

Chúng tôi biết rằng đối với một chuỗi ergodic không thể thay đổi, một phân phối cố định tồn tại duy nhất và độc lập với phân phối ban đầu.