Giải thích trực quan cho tính định kỳ trong chuỗi Markov

Ai đó có thể giải thích cho tôi một cách trực quan về tính chu kỳ của chuỗi Markov là gì không?

Nó được định nghĩa như sau:

Đối với tất cả các tiểu bang ở$i$$S$

$d_i$ = gcd$\{n \in \mathbb{N} | p_{ii}^{(n)} > 0\} =1$

Cảm ơn bạn đã nỗ lực của bạn!

Trước hết, định nghĩa của bạn không hoàn toàn chính xác. Đây là định nghĩa chính xác từ wikipedia, theo đề xuất của Cyan.

Tính định kỳ (nguồn: wikipedia )

Một trạng thái i có chu kỳ k nếu bất kỳ trở về trạng thái i phải xảy ra trong bội số của các bước thời gian k. Chính thức, thời kỳ của một nhà nước được định nghĩa là

k =$gcd\{ n: \Pr(X_n = i | X_0 = i) > 0\}$

(trong đó "gcd" là ước số chung lớn nhất). Lưu ý rằng mặc dù trạng thái có chu kỳ k, nhưng có thể không đạt được trạng thái theo k bước. Ví dụ: giả sử có thể quay lại trạng thái theo các bước thời gian {6, 8, 10, 12, ...}; k sẽ là 2, mặc dù 2 không xuất hiện trong danh sách này.

Nếu k = 1, thì trạng thái được gọi là định kỳ: trở về trạng thái i có thể xảy ra vào thời điểm bất thường. Nói cách khác, trạng thái i là một chu kỳ nếu tồn tại n sao cho tất cả n '≥ n,

$Pr(X_{n'} = i | X_0 = i) > 0.$

Mặt khác (k> 1), trạng thái được gọi là định kỳ với chu kỳ k. Chuỗi Markov là một chu kỳ nếu mỗi tiểu bang là một chu kỳ.

Giải thích của tôi

Thuật ngữ định kỳ mô tả liệu một cái gì đó (một sự kiện, hoặc ở đây: chuyến thăm của một trạng thái cụ thể) đang xảy ra ở một khoảng thời gian thông thường. Ở đây thời gian được đo bằng số lượng tiểu bang bạn truy cập.

Ví dụ đầu tiên:

Bây giờ hãy tưởng tượng rằng đồng hồ đại diện cho một chuỗi markov và mỗi giờ đánh dấu một trạng thái, vì vậy chúng tôi có 12 trạng thái. Mỗi trạng thái được xác định bằng kim giờ mỗi 12 giờ (trạng thái) với xác suất = 1, vì vậy ước số chung lớn nhất cũng là 12.

Vì vậy, mọi trạng thái (giờ-) là định kỳ với giai đoạn 12.

Ví dụ thứ hai:

Hãy tưởng tượng một biểu đồ mô tả một chuỗi các lần tung đồng xu, bắt đầu từ trạng thái và các trạng thái và đại diện cho kết quả của lần tung đồng xu cuối cùng.h e a d s t a i l $start$$heads$$tails$

Xác suất chuyển tiếp là 0,5 cho mỗi cặp trạng thái (i, j), ngoại trừ các -> và -> ở nơi 0.$heads$$start$$tails$$start$

Bây giờ hãy tưởng tượng bạn đang ở trong nhà nước . Số lượng trạng thái bạn phải truy cập trước khi bạn truy cập lại vào có thể là 1,2,3, v.v. Nó sẽ xảy ra, vì vậy xác suất lớn hơn 0, nhưng không thể dự đoán chính xác khi nào. Vì vậy, ước số chung lớn nhất của tất cả số lượt truy cập có thể xảy ra trước khi bạn truy cập lại vào là 1. Điều này có nghĩa là các là một chu kỳ.$heads$$heads$$heads$$heads$

Điều tương tự áp dụng cho . Vì nó không áp dụng cho , toàn bộ biểu đồ không phải là định kỳ. Nếu chúng ta loại bỏ , nó sẽ được.$tails$$start$$start$

Nhiều lần chúng tôi muốn biết liệu có một cơ hội khác không mà chúng tôi sẽ bị mắc kẹt trong một số trạng thái của chuỗi của tôi. Những trạng thái như vậy được gọi là trạng thái 'định kỳ'. Chúng rất dễ định lượng: nếu với bất kỳ , tôi không nhận được , tôi cho rằng trạng thái đó là một chu kỳ ( là xác suất ở lại trạng thái ). Một trạng thái không phải là định kỳ là định kỳ. Nhưng thuật ngữ này hơi đáng tiếc bởi vì theo thời gian, chúng ta thường có nghĩa là một giá trị cố định mà sau đó một hệ thống lặp lại.$n \gt 0$$P^n_{ii} = 0$$P_{ii}$$i$

Trong chuỗi Markov, chúng tôi không có sự xa xỉ "luôn luôn là một giá trị cố định" trong khoảng thời gian. Chúng tôi có thể trở lại trạng thái định kỳ trong bất kỳ số bước. Chúng tôi chạy chuỗi và ghi lại những con số và lấy những con số này. Có lẽ định nghĩa này có một số lợi thế trong việc chứng minh định lý khác; Tôi không có manh mối về nó. Nếu bạn không muốn mô phỏng chuỗi ghi chú xuống số, bạn có thể ghi lại công suất để ma trận chuyển tiếp được nâng lên sao cho và lấy các số đó.n P P n i i = $> 1$gcd$n$$P$$P^n_{ii}=0$gcd