Cho hai chuỗi Markov hấp thụ, xác suất mà một chuỗi sẽ chấm dứt trước chuỗi kia là gì?

Tôi có hai chuỗi Markov khác nhau, mỗi chuỗi có một trạng thái hấp thụ và vị trí bắt đầu đã biết. Tôi muốn xác định xác suất chuỗi 1 sẽ đạt đến trạng thái hấp thụ theo ít bước hơn chuỗi 2.

Tôi nghĩ rằng tôi có thể tính xác suất đạt được trạng thái hấp thụ trong một chuỗi cụ thể sau n bước: đưa ra ma trận chuyển tiếp xác suất được hấp thụ sau bước là trong đó là trạng thái bắt đầu và là trạng thái hấp thụ. $P$ $n$ $P^n_{ij}$ $i$ $j$

Tôi không chắc chắn nơi để đi từ đây mặc dù. Các vấn đề tương tự tôi từng thấy liên quan đến xúc xắc (ví dụ: cán tổng 7 trước tổng 8), nhưng điều đó dễ giải quyết hơn vì xác suất cán một số tiền cụ thể là không đổi và không phụ thuộc vào số bước được thực hiện cho đến nay.

probability markov-chain transition-matrix

— Jeff
nguồn

Chạy các chuỗi song song. Xác định ba trạng thái hấp thụ trong chuỗi sản phẩm kết quả:

Chuỗi thứ nhất đạt đến trạng thái hấp thụ nhưng chuỗi thứ hai thì không.
Chuỗi thứ hai đạt đến trạng thái hấp thụ nhưng chuỗi thứ nhất thì không.
Cả hai chuỗi đồng thời đạt đến một trạng thái hấp thụ.

Xác suất giới hạn của ba trạng thái này trong chuỗi sản phẩm mang lại cơ hội quan tâm.

Giải pháp này liên quan đến một số công trình (đơn giản). Như trong câu hỏi, chúng ta hãy là một ma trận chuyển tiếp cho một chuỗi . Khi chuỗi ở trạng thái , đưa ra xác suất chuyển sang trạng thái . Một trạng thái hấp thụ thực hiện quá trình chuyển đổi sang chính nó với xác suất . $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ $\mathcal P$ $i$ $P_{ij}$ $j$ $1$

Bất kỳ nhà nước có thể làm hấp thụ khi thay thế dòng bằng một véc tơ chỉ số với ở vị trí . $i$ $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ $(0,0,\ldots,0,1,0,\ldots,0)$ $1$ $i$
Bất kỳ tập hợp trạng thái hấp thụ nào cũng có thể được hợp nhất bằng cách tạo chuỗi mới có trạng thái là $A$ $\mathcal{P}/A$ . Ma trận chuyển tiếp được đưa ra bởi $\{i\,|\, i\notin A\}\cup \{A\}$

$(P / A)_{i j} = \begin{array}{ll} {\begin{cases} P_{i j} & i \notin A, j \notin A \\ \sum_{k \in A} P_{i k} & i \notin A, j = A \\ 0 & i = A, j \notin A \\ 1 & i = j = A . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
Số tiền này để tính tổng các cột của tương ứng với và thay thế các hàng tương ứng với bằng một hàng duy nhất thực hiện chuyển đổi sang chính nó. $\mathbb{P}$ $A$ $A$
Các sản phẩm của hai chuỗi vào trạng thái và trên tiểu bang , với quá trình chuyển đổi ma trận và , tương ứng, là một chuỗi Markov trên các tiểu bang $\mathcal{P}$ $S_P$ $\mathcal{Q}$ $S_Q$ $\mathbb{P}$ $\mathbb{Q}$ với ma trận chuyển đổi $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$

$(P \otimes Q)_{(i, j), (k, l)} = P_{i k} Q_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
Trên thực tế, chuỗi sản phẩm chạy song song hai chuỗi, theo dõi riêng từng vị trí và thực hiện chuyển đổi độc lập.

Một ví dụ đơn giản có thể làm rõ những công trình này. Giả sử Polly đang lật một đồng xu với cơ hội đầu hạ cánh. Cô dự định làm như vậy cho đến khi quan sát một cái đầu. Các trạng thái cho quá trình lật đồng xu là đại diện cho kết quả của lần lật gần đây nhất: cho đuôi, cho đầu. Bằng cách lên kế hoạch dừng lại ở đầu, Polly sẽ áp dụng công trình đầu tiên bằng cách biến thành trạng thái hấp thụ. Ma trận chuyển tiếp kết quả là $p$ $S_P = \{\text{T},\text{H}\}$ $\text{T}$ $\text{H}$ $\text H$

P = (\begin{matrix} 1 - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

Nó bắt đầu ở trạng thái ngẫu nhiên được đưa ra bởi lần ném đầu tiên. $(1-p,p)$

Trong thời gian với Polly, Quincy sẽ tung đồng xu công bằng. Anh định dừng lại khi thấy hai cái đầu liên tiếp. Do đó, chuỗi Markov của ông phải theo dõi kết quả trước đó cũng như kết quả hiện tại. Có bốn kết hợp như vậy gồm hai đầu và hai đuôi, mà tôi sẽ viết tắt là " ", ví dụ, trong đó chữ cái đầu tiên là kết quả trước đó và chữ cái thứ hai là kết quả hiện tại . Quincy áp dụng xây dựng (1) để làm cho trở thành trạng thái hấp thụ. Sau khi làm như vậy, anh ta nhận ra rằng anh ta không thực sự cần bốn trạng thái: anh ta có thể đơn giản hóa chuỗi của mình thành ba trạng thái: có nghĩa là kết quả hiện tại là đuôi, có nghĩa là kết quả hiện tại là đầu và $\text{TH}$ $\text{HH}$ $\text{T}$ $\text{H}$ $\text{X}$ có nghĩa là hai kết quả cuối cùng là cả hai đầu - đây là trạng thái hấp thụ. Ma trận chuyển tiếp là

Q = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

Chuỗi sản phẩm chạy trên sáu trạng thái: . Ma trận chuyển tiếp là sản phẩm tenxơ của và và dễ dàng tính toán. Ví dụ, $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ $\mathbb{P}$ $\mathbb{Q}$ là cơ hội mà Polly làm cho một sự chuyển tiếp từđểvà, cùng một lúc (và độc lập), Quincy làm cho một sự chuyển tiếp từđến. Trước đây có một cơ hộivà một cơ hội thứ hai của. Bởi vì các chuỗi được chạy độc lập, những cơ hội đó nhân lên, cho. Ma trận chuyển tiếp đầy đủ là $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ $\text T$ $\text T$ $\text T$ $\text H$ $1-p$ $1/2$ $(1-p)/2$

P \otimes Q = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

Nó ở dạng ma trận khối với các khối tương ứng với ma trận thứ hai : $\mathbb Q$

P \otimes Q = (\begin{matrix} P_{11} Q & P_{12} Q \\ P_{21} Q & P_{22} Q \end{matrix}) = (\begin{matrix} (1 - p) Q & p Q \\ 0 & Q \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

Polly và Quincy cạnh tranh để xem ai sẽ đạt được mục tiêu của họ trước. Người chiến thắng sẽ là Polly mỗi khi chuyển đổi lần đầu tiên được thực hiện thành trong đó không phải là ; người chiến thắng sẽ là Quincy mỗi khi chuyển đổi lần đầu tiên được thực hiện thành ; và nếu trước khi một trong hai điều đó có thể xảy ra, quá trình chuyển đổi được thực hiện thành , kết quả sẽ là một kết quả hòa. Để theo dõi, chúng tôi sẽ tạo các trạng thái và $(\text{H},\text{*})$ $\text{*}$ $\text X$ $(\text{T},\text{X})$ $(\text{H},\text{X})$ $(\text{H},\text{T})$ $(\text{H},\text{H})$ cả hai hấp thụ (thông qua xây dựng (1)) và sau đó hợp nhất chúng (thông qua xây dựng (2)). Ma trận chuyển tiếp kết quả, được sắp xếp theo các trạng thái là $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$

R = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & p & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

$(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$

$n\to \infty$

μ \cdot R^{n} \to \frac{1}{1 + 4 p - p^{2}} (0, 0, (1 - p)^{2}, p (5 - p), p (1 - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

$(T,X), \{(H,T), (H,H)\}, (H,X)$ $(1-p)^2:p(5-p):p(1-p)$

Nhân vật

$p$

— whuber
nguồn

Ví dụ rất gọn gàng, cảm ơn vì điều này. Tôi vẫn đang làm việc chi tiết để xem chúng cho chính mình. Chỉ là một câu hỏi: ở đây chúng tôi giả sử hai sự kiện (ném Polly và Quincy) xảy ra đồng thời, sẽ có bao nhiêu sự khác biệt nếu chúng tôi thực hiện chúng liên tiếp hoặc thậm chí chọn ngẫu nhiên mỗi lần ném tiếp theo?

— dùng929304

@ user929304 Bạn sẽ nhận được các câu trả lời khác nhau, có thể là như vậy. Chẳng hạn, giả sử P và Q đang chạy một chuỗi trong đó các trạng thái được phân chia thành các tập con A và B trong đó tất cả các chuyển đổi từ A đi đến B và tất cả từ B đi đến A. Đặt P và Q đều bắt đầu tại các trạng thái ở A. Trong cả hai chuỗi sản phẩm đồng thời xen kẽ giữa A và B, nhưng chuỗi lựa chọn tuần tự và ngẫu nhiên phá vỡ mô hình bất biến đó.

— whuber