Làm thế nào để bạn thấy một chuỗi Markov là không thể giảm được?

12

Tôi có một số khó khăn để hiểu tài sản chuỗi Markov không thể giảm được .

Irreducible được cho là có nghĩa là quá trình ngẫu nhiên có thể "đi từ bất kỳ tiểu bang nào đến bất kỳ tiểu bang nào".

Nhưng điều gì xác định liệu nó có thể đi từ trạng thái sang trạng thái , hoặc không thể đi? $i$ $j$

Các trang wikipedia cho việc chính thức:

Trạng thái $j$ có thể truy cập (được viết $i\rightarrow j$ ) từ trạng thái $i$ , nếu tồn tại số nguyên $n_{ij}>0$ st

P (X_{n_{i j}} = j | X_{0} = i) = p_{i j}^{(n_{i j})} > 0

$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$

sau đó giao tiếp là nếu $i\rightarrow j$ và $j \rightarrow i$ .

Từ những điều không thể theo sau bằng cách nào đó.

stochastic-processes markov-process

— mavavilj
nguồn

Trực giác về "khả năng tiếp cận" là gì? Tôi không hiểu tại sao có một xác suất có điều kiện làm cho một cái gì đó "có thể truy cập"?

— mavavilj

Bạn có thể nhìn từ điểm không thể tiếp cận . Trạng thái được cho là không thể truy cập từ nếu không có cơ hội đến đó từ , đó là với bất kỳ số bước nào thì xác suất của sự kiện này vẫn là . Để định nghĩa khả năng truy cập, người ta phải chuyển các lượng tử, nghĩa là thành và thành (tương tự như , vì xác suất là dương).

j

$j$

i

$i$

i

$i$

n

$n$

0

$0$

\forall

$\forall$

\exists

$\exists$

= 0

$=0$

\neq 0

$\neq 0$

> 0

$>0$

— nmerci

12

Dưới đây là ba ví dụ cho ma trận chuyển tiếp, hai ví dụ đầu tiên cho trường hợp rút gọn, cuối cùng cho trường hợp không thể giảm được.

\begin{array}{rcl} P_{1} & = & (\begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array}) \\ P_{2} & = & (\begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1 \end{array}) \end{array}

$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$ Đối với , khi bạn ở trạng thái 3 hoặc 4, bạn sẽ ở đó và tương tự cho trạng thái 1 và 2. Chẳng hạn, không có cách nào để chuyển từ trạng thái 1 sang trạng thái 3 hoặc 4, chẳng hạn.

P_{1}

$P_1$

Đối với , bạn có thể đến bất kỳ trạng thái nào từ trạng thái 1 đến 3, nhưng một khi bạn ở trạng thái 4, bạn sẽ ở lại đó. Đối với điều này ví dụ, bạn có thể bắt đầu ở bất kỳ trạng thái nào và vẫn có thể đạt đến bất kỳ trạng thái nào khác, mặc dù không nhất thiết phải trong một bước. $P_2$

P_{3} = (\begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0 \end{array})

$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$

— Christoph Hanck
nguồn

5

Trạng thái được cho là có thể truy cập từ trạng thái (thường được ký hiệu là ) nếu tồn tại một số sao cho: Nghĩa là, người ta có thể nhận được từ trạng thái đến trạng thái trong bước với xác suất . $j$ $i$ $i \to j$ $n\geq 0$

p_{i j}^{n} = P (X_{n} = j ∣ X_{0} = i) > 0

$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$

i

$i$

j

$j$

n

$n$

p_{i j}^{n}

$p^n_{ij}$

Nếu cả và đều đúng thì trạng thái và giao tiếp (thường được ký hiệu là ). Do đó, chuỗi Markov là không thể giảm nếu hai quốc gia giao tiếp với nhau. $i\to j$ $j\to i$ $i$ $j$ $i\leftrightarrow j$

— bước sóng
nguồn

Là trong là thừa hay chỉ số?

n

$n$

p_{i j}^{n}

$p_{ij}^n$

— mavavilj

Đó là một chỉ số. Tuy nhiên, nó có một giải thích: nếu là một ma trận xác suất chuyển, sau đó là yếu tố -thứ của (ở đây là một cường quốc) .

P = (p_{i j})

$\mathbf P=(p_{ij})$

p_{i j}^{n}

$p_{ij}^n$

i j

$ij$

P^{n}

$\mathbf P^n$

n

$n$

— nmerci

2

Đặt và là hai trạng thái riêng biệt của Chuỗi Markov. Nếu có một số xác suất dương cho quá trình đi từ trạng thái sang trạng thái $i$ $j$ $i$ $j$ $\cdots$ $j$ $i$

$i\rightarrow j$ $j$ $i$ $m>0$ $p_{ij}^{(m)}>0$

$j\rightarrow i$ $n>0$ $p_{ji}^{(n)}>0$

$i\rightarrow j$ $j\rightarrow i$ $i$ $j$ $i \leftrightarrow j$ $m>0,\;\; n>0$ $p_{ij}^{(m)}>0$ $p_{ji}^{(n)}>0$

Nếu tất cả các trạng thái trong Chuỗi Markov thuộc về một lớp giao tiếp khép kín , thì chuỗi đó được gọi là chuỗi Markov không thể sửa chữa . Tính không thể tin được là một tài sản của chuỗi.

Trong Chuỗi Markov không thể sửa chữa, quy trình có thể đi từ bất kỳ tiểu bang nào đến bất kỳ tiểu bang nào , bất kể là số bước cần thiết.

— LVRao
nguồn

1

Một số câu trả lời hiện có vẻ không chính xác với tôi.

Như được trích dẫn trong Quy trình ngẫu nhiên của J. Medhi (trang 79, phiên bản 4), một chuỗi Markov là không thể sửa chữa nếu nó không chứa bất kỳ tập hợp con 'đóng' thích hợp nào ngoài không gian trạng thái.

Vì vậy, nếu trong ma trận xác suất chuyển tiếp của bạn, có một tập hợp các trạng thái mà bạn không thể 'tiếp cận' (hoặc truy cập) bất kỳ trạng thái nào khác ngoài các trạng thái đó, thì chuỗi Markov có thể rút gọn. Nếu không, chuỗi Markov là không thể giảm được.

— Rộng mênh mông
nguồn

-1

Đầu tiên là một lời cảnh báo: không bao giờ nhìn vào một ma trận trừ khi bạn có một lý do nghiêm trọng để làm như vậy: điều duy nhất tôi có thể nghĩ đến là kiểm tra các chữ số gõ sai, hoặc đọc trong sách giáo khoa.

$P$ $\exp(P)$ $P$ $P^n$ $n$

Tính không thể tin được có nghĩa là: bạn có thể đi từ bất kỳ tiểu bang nào đến bất kỳ tiểu bang nào khác trong một số bước hữu hạn.

$P_3$

— Tít
nguồn

1

i

$i$

j

$j$

1

Bạn thực sự cần phải hỏi giáo viên của bạn. Anh ấy sẽ không ăn bạn, bạn biết đấy.

— Tít

e^{P_{i j}}

$e^{P_{ij}}$

Tôi đang đề cập đến ma trận theo cấp số nhân

— Titus