Sự khác biệt giữa các bản phân phối giới hạn của bản đồ và các bản phân phối trên bản đồ khác

Tôi đang đặt câu hỏi về chuỗi Markov và hai phần cuối nói điều này:

• Liệu chuỗi Markov này có phân phối hạn chế. Nếu câu trả lời của bạn là "có", hãy tìm phân phối giới hạn. Nếu câu trả lời của bạn là "không", hãy giải thích tại sao.
• Liệu chuỗi Markov này có phân phối cố định. Nếu câu trả lời của bạn là "có", hãy tìm phân phối cố định. Nếu câu trả lời của bạn là "không", hãy giải thích tại sao.

Sự khác biệt là gì? Trước đó, tôi nghĩ rằng phân phối giới hạn là khi bạn xử lý nó bằng nhưng đây là ma trận chuyển tiếp bước thứ . Họ đã tính toán phân phối giới hạn bằng cách sử dụng , mà tôi nghĩ là phân phối cố định.$P = CA^n C^{-1}$Π = Π $n$$\Pi = \Pi P$

Mà là cái nào?

Từ Giới thiệu về Mô hình hóa ngẫu nhiên của Pinsky và Karlin (2011):

Một phân phối giới hạn, khi nó tồn tại, luôn luôn là một phân phối cố định, nhưng điều ngược lại là không đúng. Có thể tồn tại một phân phối cố định nhưng không phân phối giới hạn. Ví dụ: không có phân phối giới hạn cho chuỗi Markov định kỳ có ma trận xác suất chuyển tiếp là nhưng là phân phối cố định, vì (trang 205).

$$\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$$ $\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ $$\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$$

Trong phần trước, họ đã xác định " phân phối xác suất giới hạn " bằng$\pi$

$$\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$$

và tương đương

$$\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$$ (p. 165).

Ví dụ trên dao động một cách xác định và do đó không có giới hạn theo cùng một cách mà chuỗi không có giới hạn.$\{1,0,1,0,1,\dots\}$

---

Họ tuyên bố rằng một chuỗi Markov thông thường (trong đó tất cả các xác suất chuyển tiếp n bước là dương) luôn có phân phối giới hạn và chứng minh rằng đó phải là giải pháp không âm duy nhất cho

$$\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$$ (trang 168 )

Sau đó, trên cùng một trang với ví dụ, họ viết

Bất kỳ tập hợp nào thỏa mãn (4.27) được gọi là phân phối xác suất cố định của chuỗi Markov. Thuật ngữ "văn phòng phẩm" xuất phát từ tài sản mà chuỗi Markov bắt đầu theo phân phối cố định sẽ tuân theo phân phối này tại mọi thời điểm. Chính thức, nếu , thì cho tất cả .$(\pi_i)_{i=0}^{\infty}$$\operatorname{Pr}\{X_0=i\}=\pi_i$$\operatorname{Pr}\{X_n=i\}=\pi_i$$n=1,2,\dots$

Trong đó (4.27) là tập hợp các phương trình

$$\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$$

đó chính xác là điều kiện ổn định giống như trên, ngoại trừ bây giờ với vô số trạng thái.

Với định nghĩa về sự ổn định này, tuyên bố trên trang 168 có thể được phục hồi lại như sau:

1. Phân phối giới hạn của chuỗi Markov thông thường là phân phối cố định.
2. Nếu phân phối giới hạn của chuỗi Markov là phân phối cố định, thì phân phối tĩnh là duy nhất.

Một phân phối cố định là một phân phối mà nếu phân phối trên các trạng thái ở bước là , thì phân phối trên các trạng thái ở bước là . Đó là, Phân phối giới hạn là phân phối cho dù phân phối ban đầu là gì, phân phối trên các trạng thái hội tụ đến là số lượng các bước đi đến vô cùng: độc lập với$\pi$$k$$\pi$$k+1$$\pi$

$$\begin{equation} \pi = \pi P. \end{equation}$$ $\pi$$\pi$ $$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$$ $\pi^{(0)}$. Ví dụ: chúng ta hãy xem xét một chuỗi Markov có hai trạng thái là các cạnh của một đồng xu, . Mỗi bước bao gồm lật ngược đồng xu (với xác suất 1). Lưu ý rằng khi chúng tôi tính toán các phân phối trạng thái, chúng không có điều kiện ở các bước trước đó, tức là người tính toán xác suất không nhìn thấy đồng xu. Vì vậy, ma trận chuyển tiếp là Nếu lần đầu tiên chúng tôi khởi tạo đồng xu bằng cách lật ngẫu nhiên ( ), thì tất cả các bước thời gian tiếp theo cũng tuân theo phân phối này. (Nếu bạn lật một đồng xu công bằng, và sau đó lật ngược nó, xác suất người đứng đầu vẫn là ). Như vậy$\{heads, tails\}$ $$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$$ $\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$$0.5$$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ là một bản phân phối cố định cho chuỗi Markov này.

Tuy nhiên, chuỗi này không có phân phối giới hạn: giả sử chúng tôi khởi tạo đồng tiền sao cho nó đứng đầu với xác suất . Sau đó, vì tất cả các trạng thái tiếp theo được xác định bởi trạng thái ban đầu, sau một số bước chẵn, trạng thái là các đầu có xác suất và sau một số bước lẻ, trạng thái là các đầu có xác suất . Điều này giữ cho dù có bao nhiêu bước được thực hiện, do đó phân phối trên các trạng thái không có giới hạn.$2/3$$2/3$$1/3$

Bây giờ, chúng ta hãy sửa đổi quy trình để ở mỗi bước, người ta không nhất thiết phải xoay xu. Thay vào đó, người ta ném một con súc sắc, và nếu kết quả là , đồng xu sẽ được giữ nguyên. Chuỗi Markov này có ma trận chuyển tiếp Không cần vượt qua toán học, tôi sẽ chỉ ra rằng quá trình này sẽ 'quên' trạng thái ban đầu do ngẫu nhiên bỏ qua lượt. Sau một số lượng lớn các bước, xác suất người đứng đầu sẽ gần , ngay cả khi chúng ta biết cách khởi tạo đồng xu. Do đó, chuỗi này có phân phối giới hạn .$6$

$$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$$ $0.5$$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

Đặt ký hiệu sang một bên, từ "văn phòng phẩm" có nghĩa là "một khi bạn đến đó, bạn sẽ ở lại đó"; trong khi từ "giới hạn" ngụ ý "cuối cùng bạn sẽ đến đó nếu bạn đi đủ xa". Chỉ cần nghĩ rằng điều này có thể hữu ích.