Chuỗi Markov là gì?

Tôi hiện đang đọc một số bài báo về việc nhảy chuỗi Markov và tôi không thấy sự khác biệt giữa chuỗi Markov và biểu đồ có trọng số theo hướng đơn giản.

Ví dụ trong bài viết Tối ưu hóa không gian trạng thái trong chuỗi Markov, họ cung cấp định nghĩa sau về CTMC (chuỗi Markov thời gian liên tục):

Chúng tôi xem xét một CTMC hữu hạn với không gian trạng thái bằng ma trận tỷ lệ chuyển đổi .S = { x 1 , x 2 , Mạnh , x n } Q : S × S → R$(\mathcal{S}, Q)$$\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$$Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$

Họ hoàn toàn không đề cập đến tài sản Markov, và trên thực tế, nếu trọng số trên các cạnh thể hiện xác suất tôi tin rằng tài sản Markov giữ tầm thường vì xác suất chỉ phụ thuộc vào trạng thái hiện tại của chuỗi chứ không phải con đường dẫn với nó

Trong một bài viết khác về các thuộc tính quan hệ của chuỗi Markov được xác định tương tự:

Chuỗi Markov sẽ được biểu diễn dưới dạng bộ ba trong đó là tập hợp hữu hạn các trạng thái của , ma trận xác suất chuyển tiếp cho biết xác suất nhận được từ trạng thái này sang trạng thái khác và là phân phối xác suất ban đầu đại diện cho khả năng hệ thống bắt đầu ở một trạng thái nhất định.( S , P , π ) S M P $M$$(S, P, \pi)$$S$$M$$P$$\pi$

Một lần nữa, không đề cập đến quá khứ hoặc tương lai hoặc độc lập.

Có một bài báo thứ ba Simple O (m logn) Time Markov Chain Lumping trong đó họ không chỉ không bao giờ nói rằng các trọng số trên các cạnh là xác suất, mà thậm chí họ còn nói:

Trong nhiều ứng dụng, các giá trị không âm. Tuy nhiên, chúng tôi không đưa ra giả định này, vì cũng có những ứng dụng mà được cố tình chọn là , khiến nó thường âm tính.W ( s , s ) - W ( s , S ∖ { s } $W(s, s')$$W(s, s)$$-W(s, S \setminus \{s\})$

Hơn nữa, tuyên bố rằng việc nhảy vọt phải là một cách để giảm số lượng trạng thái trong khi duy trì tài sản Markov (bằng cách tổng hợp trạng thái "tương đương" thành trạng thái lớn hơn). Tuy nhiên, đối với tôi, có vẻ như nó chỉ đơn giản là tổng hợp các xác suất và thậm chí không nên đảm bảo rằng các kết quả có thể xảy ra của các chuyển đổi đến / từ các trạng thái tổng hợp nằm trong phạm vi . Những gì không thực sự bảo tồn sau đó?$[0,1]$

Vì vậy, có hai khả năng mà tôi thấy:

• Tôi không hiểu chuỗi Markov là gì, hoặc
• Việc sử dụng thuật ngữ chuỗi Markov trong các giấy tờ đó là không có thật

Ai đó có thể làm rõ tình hình?

Nó thực sự trông giống như có những cộng đồng khác nhau sử dụng thuật ngữ đó và chúng có nghĩa là những thứ khác nhau rộng rãi. Từ 3 bài viết mà tôi đang xem xét, có vẻ như tài sản Markov là tầm thường hoặc vô dụng, trong khi nhìn vào một loại giấy tờ khác, nó có vẻ cơ bản.

$N$$N \times N$

Nhưng bài báo thứ nhất định nghĩa một ký hiệu phù hợp với Chuỗi Markov thời gian liên tục , đôi khi được gọi là Quy trình Markov , trong khi bài viết thứ hai định nghĩa một ký hiệu phù hợp với Chuỗi Markov thời gian rời rạc . Họ nói

$P$$\pi$

$[0,1]$$P$$1$$\pi$$1$

Tôi không thể đọc bài báo thứ ba, nó được trả tiền. Nếu các mục trong mỗi cột của ma trận được yêu cầu tổng bằng 1 thì chúng là xác suất và chúng đang nói về Chuỗi Markov thời gian rời rạc. Nếu các mục trong mỗi cột có thể tổng thành một số tùy ý thì các mục đó biểu thị tỷ lệ không phải là xác suất và chúng đang nói về Chuỗi Markov thời gian liên tục.

$1$

Với cả Chuỗi Markov thời gian liên tục và thời gian rời rạc, thuộc tính Markov được ngụ ý bởi các trọng số cạnh không đổi (hoặc tương đương với các mục không đổi trong ma trận chuyển tiếp.)

Chuỗi Markov có hai hương vị: thời gian liên tục và thời gian riêng biệt.

Cả chuỗi markov thời gian liên tục (CTMC) và chuỗi markov thời gian rời rạc (DTMC) được biểu diễn dưới dạng biểu đồ có trọng số theo hướng.

Đối với DTMC, quá trình chuyển đổi luôn mất một đơn vị "thời gian". Kết quả là, không có lựa chọn nào cho trọng lượng của bạn trên một cung là-- bạn đặt xác suất đi đến "j" khi bạn ở "i".

Đối với CTMC, thời gian chuyển tiếp giữa hai trạng thái bất kỳ nhất thiết phải được đưa ra bởi một biến ngẫu nhiên theo cấp số nhân. Đây là điểm khác biệt chính giữa CTMC và DTMC: DTMC luôn có thời gian chuyển đổi đơn vị. CTMC có thời gian chuyển tiếp ngẫu nhiên.

Đối với CTMC, quy ước thường đặt trọng số lên một cung theo tỷ lệ của biến ngẫu nhiên theo cấp số nhân đi từ nguồn đến đích. Đó là - quy ước là đưa tỷ lệ lên các cung, chứ không phải xác suất.

Tỷ lệ âm

Mặc dù tất cả các CTMC mà tôi nhớ lại được đại diện với tỷ lệ dương ở các cạnh, tỷ lệ âm sẽ xuất hiện trong phân tích CTMC.

Giả sử chúng ta đang đứng ở trạng thái A, được kết nối với B, C và D như dưới đây.

A -> B (tỷ lệ vào A từ B là âm) A -> C (tỷ lệ vào A từ C là âm) D -> A (tỷ lệ vào A từ D là dương)

Đây có thể không hoàn toàn là những gì bài báo của bạn đề cập đến; Tôi đưa ra để cho thấy rằng trọng lượng tiêu cực không nhất thiết là vô lý nếu ai đó làm việc với một quy ước phù hợp.

Tài sản Markov

Đối với DTMC - bạn đúng. Các tài sản markov được thỏa mãn tầm thường. Đối với CTMC, thuộc tính markov được thỏa mãn vì các chuyển đổi được đưa ra bởi các biến ngẫu nhiên theo cấp số nhân (là "không nhớ"). Nếu quá trình chuyển đổi không được đưa ra bởi các biến ngẫu nhiên theo cấp số nhân (thay vào đó là đồng nhất), thì chúng ta sẽ nói về "Chuỗi Semi-Markov" hoặc "Quá trình Semi-Markov".