Mô hình Markov với xác suất chuyển tiếp có điều kiện


10

Trước tiên, hãy để tôi thừa nhận rằng tôi không rành về thống kê và toán học như tôi muốn. Một số người có thể nói có kiến ​​thức vừa đủ để gây nguy hiểm. : DI xin lỗi nếu tôi không sử dụng thuật ngữ chính xác.

Tôi đang cố gắng mô hình hóa xác suất của một hệ thống chuyển từ trạng thái này sang trạng thái khác. Một mô hình Markov đơn giản là một khởi đầu tốt. (Tập hợp các trạng thái, tập hợp các xác suất trạng thái ban đầu, tập hợp các xác suất chuyển tiếp giữa các trạng thái.)

Tuy nhiên, hệ thống tôi đang lập mô hình phức tạp hơn thế. Xác suất chuyển tiếp dẫn đến trạng thái tại thời điểm T chắc chắn phụ thuộc vào các biến khác với trạng thái tại T-1. Ví dụ: S1 -> S2 có thể có xác suất chuyển tiếp là 40% khi mặt trời chiếu sáng, nhưng xác suất S1 -> S2 tăng lên 80% khi trời mưa.

Thông tin bổ sung từ câu hỏi của người bình luận:

  1. Các tiểu bang có thể quan sát được.
  2. Sẽ chỉ có 5-10 tiểu bang.
  3. Hiện tại có khoảng 30 đồng biến mà chúng tôi muốn điều tra, mặc dù mô hình cuối cùng chắc chắn sẽ có ít hơn số này.
  4. Một số đồng biến liên tục, số khác rời rạc.

Ba câu hỏi:

  1. Làm cách nào tôi có thể kết hợp các xác suất chuyển tiếp có điều kiện vào mô hình Markov của mình?
  2. Hoặc, có một quan điểm khác hoàn toàn mà tôi nên tiếp cận vấn đề này?
  3. Ngoài ra, những từ khóa / khái niệm nào tôi nên tìm kiếm trực tuyến để tìm hiểu thêm về điều này?

Tôi đã ở trên mạng để tìm kiếm những thứ như "mô hình markov với xác suất chuyển tiếp có điều kiện", nhưng cho đến nay không có gì khiến tôi phải tát vào mặt và nói: "Đây là câu trả lời của bạn, đồ ngốc!"

Cảm ơn sự giúp đỡ và kiên nhẫn của bạn.


Chào mừng đến với trang web. Không gian nhà nước rộng bao nhiêu? Bạn có quan sát trạng thái của quá trình của bạn ở mỗi bước không? Bạn có bao nhiêu đồng biến (dự đoán bổ sung)? Chúng liên tục, rời rạc hay có lẽ là hỗn hợp của cả hai?
Đức Hồng Y

Cảm ơn, hồng y. Vâng, các tiểu bang có thể quan sát được. Có lẽ sẽ có 5 đến 10 tiểu bang. (Vẫn chưa chắc chắn, nhưng tôi không mong đợi một không gian nhà nước rất lớn.) Ngay bây giờ, chúng tôi có một danh sách khoảng 30 đồng biến bổ sung mà chúng tôi dự định điều tra, mặc dù hầu hết trong số chúng có thể sẽ có ít tác dụng. Một số là liên tục, và một số là rời rạc.
Aaron Johnson

Câu trả lời:


5

Bạn luôn có thể có chuỗi markov thứ 2 hoặc cao hơn. Trong trường hợp đó, mô hình của bạn đã sẵn sàng bao gồm tất cả thông tin chuyển tiếp xác suất trong đó. Bạn có thể kiểm tra Dynamic Bayesian Networks , một khái quát mô hình đồ họa của Chuỗi Markov được sử dụng thường xuyên trong học máy.


YBE, Cảm ơn bạn đã trả lời nhanh chóng! Liệu điều này (mô hình hóa hệ thống theo thứ tự thứ 2 hoặc chuỗi cao hơn) cho phép tôi mô hình các hiệp phương sai liên tục, hoặc chỉ các hiệp phương trình rời rạc? Và bạn có thể chỉ cho tôi một liên kết đưa ra một ví dụ tốt về những gì bạn đang nói về? Cảm ơn!
Aaron Johnson

Có một tờ giấy bạn có thể kiểm tra. Đầu tiên, nó bắt đầu mô tả chuỗi thứ tự 1, sau đó mô tả tình huống cho chuỗi thứ tự cao hơn. (Chuỗi Markov đa biến bậc cao và các ứng dụng của chúng theo Chính, Ng, Fung) Nếu bạn quan tâm đến loại công cụ học máy, tôi khuyên bạn nên kiểm tra trang web của Kevin Murphy. Anh ta cũng có một hộp công cụ MATLAB mà bạn có thể chơi với.
YBE

+1 cho câu trả lời của bạn để tham khảo bài báo Chính, Ng và Fung. Đó là một thứ tốt để có. Tuy nhiên, sau khi đọc qua nó, có vẻ như nó chỉ bao gồm các biến rời rạc (đó là loại tôi mong đợi.) Trong khi tôi có thể phân biệt các biến liên tục của mình, tôi vẫn tò mò - Có mô hình nào có thể xử lý liên tục thô không biến?
Aaron Johnson

Tôi không phải là một chuyên gia, nhưng tôi đoán kết quả nên giữ cho trường hợp liên tục nói chung. Ví dụ, bộ lọc Kalman chạy trên HMM (chuỗi markov bậc 1) với các trạng thái liên tục.
YBE

Tôi đã không ngay lập tức chọn câu trả lời của bạn vì tôi đang chờ đợi nhiều ứng viên hơn. Họ không bao giờ đến, và tôi quên nó. Hai năm sau, bây giờ tôi trao giải cho bạn bằng cách chấp nhận câu trả lời của bạn. Cảm ơn bạn về thông tin! Nhân tiện, bạn có bắt gặp bất cứ điều gì khác về chủ đề này trong hai năm qua không? Đó vẫn là điều mà tôi quan tâm.
Aaron Johnson


0

Tôi đã tự hỏi mình câu hỏi tương tự và nếu bạn thực sự chỉ cần mô hình hóa kết quả dựa trên trạng thái tại và hiệp phương sai, bạn có thể thấy gói msm trong R hữu ích.T1

Gói này có vẻ khá phù hợp để mô hình hóa các tác động của hiệp phương sai đối với các chuyển đổi giữa các kết quả phân loại theo thời gian. Sẽ không có ích gì nếu bạn thực sự cần một chuỗi đơn hàng cao hơn, nhưng có vẻ như đó không phải là trường hợp dựa trên câu hỏi ban đầu của bạn.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.