Quá trình Markov chỉ phụ thuộc vào trạng thái trước đó

Tôi chỉ muốn ai đó xác nhận sự hiểu biết của tôi hoặc nếu tôi thiếu một cái gì đó.

Định nghĩa của một quá trình markov nói rằng bước tiếp theo chỉ phụ thuộc vào trạng thái hiện tại và không có trạng thái trong quá khứ. Vì vậy, giả sử chúng ta có một không gian trạng thái của a, b, c, d và chúng ta đi từ a-> b-> c-> d. Điều đó có nghĩa là việc chuyển sang d chỉ có thể phụ thuộc vào thực tế là chúng ta đã ở c.

Tuy nhiên, có đúng là bạn có thể làm cho mô hình trở nên phức tạp hơn và loại "vượt qua" giới hạn này không? Nói cách khác, nếu không gian trạng thái của bạn bây giờ là aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, có nghĩa là không gian trạng thái mới của bạn trở thành trạng thái trước đó kết hợp với trạng thái hiện tại, khi đó quá trình chuyển đổi ở trên sẽ là * a-> ab-> bc-> cd và do đó quá trình chuyển đổi sang cd (tương đương trong mô hình trước đó sang d) hiện "phụ thuộc" vào trạng thái, nếu được mô hình hóa khác nhau, là trạng thái trước đó (tôi gọi nó là trạng thái phụ bên dưới).

Tôi có đúng không khi người ta có thể làm cho nó "phụ thuộc vào các trạng thái trước đó (trạng thái phụ)" (tôi biết về mặt kỹ thuật nó không có trong mô hình mới vì trạng thái phụ không còn là trạng thái thực) duy trì thuộc tính markov bằng cách mở rộng không gian nhà nước như tôi đã làm? Vì vậy, người ta có thể thực sự tạo ra một quy trình markov có thể phụ thuộc vào bất kỳ số lượng trạng thái phụ trước đó.

Về mặt kỹ thuật, cả hai quy trình bạn mô tả đều là chuỗi markov. Sự khác biệt là cái thứ nhất là chuỗi markov thứ tự thứ nhất trong khi cái thứ hai là chuỗi markov thứ hai. Và có, bạn có thể chuyển đổi chuỗi markov thứ hai thành chuỗi markov thứ tự đầu tiên bằng một thay đổi phù hợp trong định nghĩa không gian trạng thái. Hãy để tôi giải thích thông qua một ví dụ.

Giả sử rằng chúng ta muốn mô hình hóa thời tiết như một quá trình ngẫu nhiên và giả sử rằng vào bất kỳ ngày nào, thời tiết có thể mưa, nắng hoặc mây. Hãy là thời tiết ở bất cứ ngày đặc biệt và chúng ta hãy biểu thị trạng thái có thể bởi những biểu tượng R (đối với mưa), S for (nắng) và C (đối với mây).$W_t$$R$$S$$C$

Chuỗi Markov đặt hàng đầu tiên

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

Chuỗi Markov thứ hai

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

Chuỗi markov thứ hai có thể được chuyển đổi thành chuỗi markov thứ tự đầu tiên được xác định lại không gian trạng thái như sau. Định nghĩa:

là thời tiết trong hai ngày liên tiếp.$Z_{t-1,t}$

Nói cách khác, không gian trạng thái có thể mất một trong các giá trị sau: , R C , R S , C R , C C , C S , S R , S C và S S . Với không gian trạng thái được xác định lại này, chúng ta có:$RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

Trên đây rõ ràng là một chuỗi markov thứ tự đầu tiên trên không gian trạng thái được xác định lại. Một điểm khác biệt so với chuỗi markov thứ hai là chuỗi markov được xác định lại của bạn cần được chỉ định với hai trạng thái bắt đầu ban đầu, nghĩa là chuỗi phải được bắt đầu với một số giả định về thời tiết vào ngày 1 và ngày 2.

Định nghĩa của một quá trình markov nói rằng bước tiếp theo chỉ phụ thuộc vào trạng thái hiện tại và không có trạng thái trong quá khứ.

$n^{th}$$n-1$

$n^{th}$$n$$n^{th}$$k$$O(k^{2n})$

Bạn có thể muốn xem qua các bài báo gần đây như chuỗi Markov đa biến bậc cao và các ứng dụng của chúng vì lĩnh vực này đang tiến triển nhanh chóng.