Sự khác biệt giữa chuỗi Markov và quy trình Markov là gì?

16

Tôi đang đọc thông tin mâu thuẫn: đôi khi định nghĩa dựa trên việc không gian trạng thái là rời rạc hay liên tục, và đôi khi nó dựa trên việc thời gian có rời rạc liên tục hay không.

Slide 20 của tài liệu này :

Một quá trình Markov được gọi là chuỗi Markov nếu không gian trạng thái rời rạc, tức là không gian hữu hạn hoặc không gian đếm được rời rạc, tức là hữu hạn hoặc có thể đếm được.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Một quy trình Markov là phiên bản thời gian liên tục của chuỗi Markov.

Hoặc người ta có thể sử dụng chuỗi Markov và quá trình Markov đồng nghĩa, xác định xem tham số thời gian là liên tục hay rời rạc cũng như không gian trạng thái là liên tục hay rời rạc.

Cập nhật 2017-03-04: câu hỏi tương tự đã được hỏi trên https://www.quora.com/Can-I-use-the-words-Markov- Process-and-Mark-to-interchangchangly

terminology stochastic-processes markov-process

— Franck Dernoncourt
nguồn

1

Theo kinh nghiệm của tôi, định nghĩa đầu tiên là sai. Chuỗi Markov được sử dụng thường xuyên trong bối cảnh lấy mẫu từ phân phối sau (MCMC). Những hậu thế này có thể được xác định trên một không gian trạng thái hữu hạn hoặc liên tục; vì vậy định nghĩa đầu tiên có lẽ không chính xác. Cái thứ hai có ý nghĩa hơn. Tuy nhiên, tôi không nghĩ rằng có nhiều sự khác biệt giữa mặc dù, vì tôi thường thấy cụm từ, chuỗi Markov liên tục.

— Greenparker

1

tôi nhớ những gì tôi học được từ sách giáo khoa là quá trình markov là thuật ngữ chung nhất và chuỗi markov là thời gian riêng biệt và trạng thái đặc biệt rời rạc.

— Haitao Du

8

Từ lời nói đầu đến phiên bản đầu tiên của "Chuỗi Markov và sự ổn định ngẫu nhiên" của Meyn và Tweedie:

Chúng tôi thỏa thuận ở đây với Markov Chains. Bất chấp những nỗ lực ban đầu của Doob và Chung [99,71] để dành thuật ngữ này cho các hệ thống phát triển trên các không gian có thể đếm được với cả các tham số thời gian rời rạc và liên tục, việc sử dụng dường như có sự quyết định (ví dụ Revuz [326]) mà chuỗi Markov di chuyển thời gian riêng biệt, trên bất cứ không gian nào họ muốn; và đó là những hệ thống chúng tôi mô tả ở đây.

Chỉnh sửa: các tài liệu tham khảo được trích dẫn bởi tài liệu tham khảo của tôi, tương ứng là:

99: JL Doob. Quá trình ngẫu nhiên . John Wiley & Sons, New York 1953

71: KL Chung. Chuỗi Markov với Xác suất Chuyển tiếp Văn phòng phẩm . Springer-Verlag, Berlin, ấn bản thứ hai, 1967.

326: D. Revuz. Chuỗi Markov . Bắc Hà Lan, Amsterdam, ấn bản thứ hai, 1984.

— Taylor
nguồn

6

Một phương pháp phân loại các quá trình ngẫu nhiên dựa trên bản chất của time parameter( rời rạc hoặc liên tục ) và state space( rời rạc hoặc liên tục ). Điều này dẫn đến bốn loại quy trình ngẫu nhiên.

Nếu state spacequá trình ngẫu nhiên là rời rạc , cho dù time parameterlà rời rạc hay liên tục , quá trình này thường được gọi là một chuỗi .

Nếu một quá trình ngẫu nhiên sở hữu thuộc tính Markov , bất kể tính chất của tham số thời gian (rời rạc hoặc liên tục) và không gian trạng thái (rời rạc hoặc liên tục) , thì nó được gọi là quá trình Markov . Do đó, chúng tôi sẽ có bốn loại quy trình Markov.

Một continuous time parameter, discrete state spacequá trình ngẫu nhiên sở hữu tài sản Markov được gọi là tham số liên tục chuỗi Markov (CTMC) .

Một discrete time parameter, discrete state spacequá trình ngẫu nhiên sở hữu tài sản Markov được gọi là tham số rời rạc chuỗi Markov (DTMC) .

Tương tự, chúng ta có thể có hai quá trình Markov khác.

Cập nhật 2017 / 03-09:

Every independent increment process is a Markov process.

Poisson processcó thuộc tính gia tăng độc lập là một Markov processtham số thời gian liên tục và không gian trạng thái rời rạc.

Brownian motion processcó thuộc tính gia tăng độc lập là một Markov processtham số thời gian liên tục và quá trình không gian trạng thái liên tục.

— LVRao
nguồn