Ước tính xác suất chuỗi Markov

12

Điều gì sẽ là cách phổ biến để ước tính ma trận chuyển tiếp MC trong các mốc thời gian?

Có chức năng R để làm điều đó?

markov-process

— người dùng333
nguồn

Đây có phải là một chuỗi markov nhà nước rời rạc hoặc liên tục?

— Macro

Tôi nghĩ rời rạc. Tôi có 5 trạng thái có thể S1 đến S5

— dùng333

Dựa trên các câu trả lời hay trước đây: có, có một cách nhận biết vị trí. Tôi nghĩ rằng nó có thể bằng các mô hình Markov thứ n.

14

Vì chuỗi thời gian là giá trị rời rạc, bạn có thể ước tính xác suất chuyển tiếp theo tỷ lệ mẫu. Đặt là trạng thái của quá trình tại thời điểm , là ma trận chuyển tiếp sau đó $Y_{t}$ $t$ ${\bf P}$

P_{i j} = P (Y_{t} = j | Y_{t - 1} = i)

${\bf P}_{ij} = P(Y_{t} = j | Y_{t-1} = i)$

Vì đây là chuỗi markov, xác suất này chỉ phụ thuộc vào , do đó có thể ước tính theo tỷ lệ mẫu. Gọi là số lần quá trình chuyển từ trạng thái sang . Sau đó, $Y_{t-1}$ $n_{ik}$ $i$ $k$

{\hat{P}}_{i j} = \frac{n_{i j}}{\sum_{k = 1}^{m} n_{i k}}

$\hat{{\bf P}}_{ij} = \frac{ n_{ij} }{ \sum_{k=1}^{m} n_{ik} }$

Trong đó là số trạng thái có thể có ( trong trường hợp của bạn). Mẫu số, , là tổng số chuyển động ngoài trạng thái . Ước tính các mục theo cách này thực sự tương ứng với ước tính khả năng tối đa của ma trận chuyển tiếp, xem kết quả là đa thức, được quy định trên . $m$ $m=5$ $\sum_{k=1}^{m} n_{ik}$ $i$ $Y_{t-1}$

Chỉnh sửa: Điều này không cho rằng bạn có chuỗi thời gian được quan sát tại các khoảng cách đều nhau. Mặt khác, xác suất chuyển tiếp cũng sẽ phụ thuộc vào độ trễ thời gian (ngay cả khi chúng vẫn là markovian).

— Vĩ mô
nguồn

6

Tôi nghe thấy những gì bạn đang nói. Về cơ bản tần số quan sát sẽ là ma trận của tôi ... Nói một cách đơn giản!

— dùng333

Làm thế nào về không gian nhà nước liên tục? Althou tôi đang đấu tranh một chút để hiểu khái niệm?

— dùng333

1

Đối với một không gian trạng thái liên tục, vấn đề trở nên phức tạp hơn nhiều, khi đó bạn cần ước tính một hàm chuyển đổi thay vì ma trận. Trong trường hợp đó, vì xác suất cận biên ở bất kỳ trạng thái cụ thể nào là 0 (tương tự như xác suất lấy bất kỳ điểm cụ thể nào trong không gian mẫu là 0 cho bất kỳ phân phối liên tục nào) những gì tôi đã mô tả ở trên không có ý nghĩa gì. Trong trường hợp liên tục, tôi tin rằng ước tính của hàm chuyển đổi là giải pháp cho một tập hợp các phương trình vi phân (Tôi không quen lắm với điều này vì vậy ai đó vui lòng sửa cho tôi nếu tôi sai)

— Macro

Có phải phương pháp này không giả sử 1 quan sát liên tục, thay vì nhiều theo bài đăng bên dưới? Ví dụ, hãy tưởng tượng E là một trạng thái hấp thụ ... Vậy thì điều này chắc chắn sẽ không được tiết lộ ở đây?

— HCAI

4

Rất có thể, với giả thuyết rằng chuỗi thời gian của bạn là ổn định:

Để đơn giản hóa câu trả lời xuất sắc của Macro

Tại đây bạn có chuỗi thời gian của mình với 5 trạng thái: A, B, C, D, E

AAAEDDDCBEEEDBADBECADAAAACCCDDE

Bạn chỉ cần đếm số lần chuyển đổi đầu tiên: - để lại A: 9 lần chuyển đổi Trong số 9 lần chuyển đổi đó, 5 lần chuyển tiếp là A-> A, 0 A-> B, 1 A-> C, 2 A-> D, 1 A-> E Vì vậy, dòng đầu tiên của ma trận xác suất chuyển tiếp của bạn là [5/9 0 1/9 2/9 1/9]

Bạn làm điều đó cho mỗi trạng thái, và sau đó thu được ma trận 5x5 của bạn.

— Mickaël S
nguồn

Ví dụ tuyệt vời, cảm ơn bạn. Vì vậy, Markov Chains chỉ quan tâm đến số lượng chuyển đổi, không phải vị trí của họ, đúng không? Ví dụ, sẽ AAABBBAcó một ma trận giống như ABBBAAA?

— Marcin

có, với chuỗi Markov nếu bạn có cùng số lần chuyển đổi, bạn sẽ có cùng một ma trận. Đó là một câu hỏi hay. Ngay cả khi bạn không có trình tự chính xác, bạn có cùng một "hành vi" và đó là điều quan trọng nhất trong mô hình hóa, nếu bạn muốn lặp lại chính xác trình tự đó tại sao lại lập mô hình? Chỉ cần lặp lại dữ liệu của bạn.

— Mickaël S

Có một phương pháp đếm chuyển tiếp khác là nhận biết vị trí? Tôi đang nghiên cứu về việc bẻ khóa mật khẩu, vì vậy thật tuyệt khi có một phương pháp đánh giá nhân vật tiếp theo nào có khả năng xảy ra nhất. Vấn đề với mật khẩu là mọi người có xu hướng tuân theo các quy tắc như đặt * ở đầu và cuối mật khẩu hoặc hoàn thành mật khẩu bằng 1, do đó, không chỉ là các chuyển đổi mà còn cả vị trí của chúng.

— Marcin

ok, tôi đã không nghĩ về trường hợp đó, bạn có chắc rằng Markov Chain là cách tốt nhất để làm những gì bạn muốn làm không? Nếu bạn nghĩ như vậy, trạng thái của bạn là gì (mỗi nhân vật là một trạng thái)? Và làm thế nào để bạn có kế hoạch để tính toán quá trình chuyển đổi? Làm thế nào để bạn có kế hoạch sử dụng chuỗi markov?

— Mickaël S

1

chức năng markovchainFit từ gói markovchain xử lý vấn đề của bạn.

— Giorgio Speesato
nguồn