Mô hình Markov ẩn để dự đoán sự kiện

Câu hỏi : Việc thiết lập bên dưới có triển khai hợp lý mô hình Hidden Markov không?

Tôi có một bộ dữ liệu 108,000quan sát (được thực hiện trong suốt 100 ngày) và khoảng 2000các sự kiện trong toàn bộ khoảng thời gian quan sát. Dữ liệu trông giống như hình bên dưới nơi biến quan sát có thể lấy 3 giá trị riêng biệt và các cột màu đỏ làm nổi bật thời gian sự kiện, tức là 's: $[1,2,3]$ $t_E$

nhập mô tả hình ảnh ở đây

Như được hiển thị với các hình chữ nhật màu đỏ trong hình, tôi đã phân tích { thành } cho mỗi sự kiện, coi chúng là "cửa sổ trước sự kiện" một cách hiệu quả. $t_E$ $t_{E-5}$

Đào tạo HMM: Tôi dự định đào tạo Mô hình Markov ẩn (HMM) dựa trên tất cả các "cửa sổ trước sự kiện", sử dụng phương pháp nhiều chuỗi quan sát theo đề xuất trên PG. Giấy của Rabiner . Hy vọng, điều này sẽ cho phép tôi huấn luyện một HMM nắm bắt các mẫu trình tự dẫn đến một sự kiện.

HMM Dự đoán: Sau đó, tôi có kế hoạch để sử dụng HMM này để dự đoán vào một ngày mới, nơi sẽ là một véc tơ cửa sổ trượt, được cập nhật trong thời gian thực để chứa các quan sát giữa thời gian hiện tại và như ngày tiếp tục. $log[P(Observations|HMM)]$ $Observations$ $t$ $t-5$

Tôi hy vọng sẽ thấy tăng đối với các giống với "cửa sổ trước sự kiện". Điều này sẽ có hiệu lực cho phép tôi dự đoán các sự kiện trước khi chúng xảy ra. $log[P(Observations|HMM)]$ $Observations$

— Zhubarb
nguồn

Bạn có thể chia dữ liệu của mình để xây dựng một mô hình (giả sử là 0,7), sau đó kiểm tra mô hình của bạn trên các dữ liệu còn lại. Chỉ cần một suy nghĩ, tôi không phải là một chuyên gia trong lĩnh vực này.

— Fernando

Vâng, cảm ơn. Đó là sự phù hợp của HMM cho nhiệm vụ mà tôi không chắc chắn.

— Zhubarb

@Zhubarb Tôi đang xử lý một vấn đề tương tự và muốn làm theo phương pháp HMM của bạn. Nơi bạn thành công làm điều này? Hay cuối cùng bạn đã tái phát thành hồi quy logistic / SVM, v.v.?

— Javierfdr

@Javierfdr, cuối cùng tôi đã không thực hiện nó do khó thực hiện và những lo ngại mà alto nổi bật trong câu trả lời của anh ấy. Về cơ bản, HMM đi kèm với gánh nặng là phải xây dựng một mô hình thế hệ rộng rãi, trong khi cảm giác ruột thịt của tôi bây giờ là vấn đề, người ta có thể dễ dàng thoát khỏi mô hình phân biệt đối xử (SVM, Mạng lưới thần kinh, v.v.) như bạn đề xuất .

— Zhubarb

$P(O)$ $P(O)$ $O$

\begin{aligned} P (H H M 1 | O) & = \frac{P (O | H M M 1) P (H M M 1)}{P (O)} \\ \propto P (O | H M M 1) P (H M M 1) \end{aligned}

$\begin{align*} P(HHM1|O) &= \frac{P(O|HMM1)P(HMM1)}{P(O)} \\ &\varpropto P(O|HMM1)P(HMM1) \end{align*}$

\begin{aligned} P (H M M 1 | Ôi) & > P (H M M 2 | Ôi) \\ ⟹ \frac{P (H M M 1) P (Ôi | H M M 1)}{P (Ôi)} & > \frac{P (H M M 2) P (Ôi | H M M 2)}{P (Ôi)} \\ ⟹ P (H M M 1) P (Ôi | H M M 1) & > P (H M M 2) P (Ôi | H M M 2) . \end{aligned}

$\begin{align*} P(HMM1|O) &> P(HMM2|O) \\ \implies \frac{P(HMM1)P(O|HMM1)}{P(O)} &> \frac{P(HMM2)P(O|HMM2)}{P(O)} \\ \implies P(HMM1)P(O|HMM1) &> P(HMM2)P(O|HMM2). \end{align*}$

Tuyên bố miễn trừ trách nhiệm : Những gì tiếp theo dựa trên kinh nghiệm cá nhân của tôi, vì vậy hãy xem nó là gì. Một trong những điều hay về HMM là chúng cho phép bạn xử lý các chuỗi có độ dài thay đổi và hiệu ứng thứ tự thay đổi (nhờ các trạng thái ẩn). Đôi khi điều này là cần thiết (như trong rất nhiều ứng dụng NLP). Tuy nhiên, có vẻ như bạn có một tiên nghiệm giả định rằng chỉ có 5 quan sát cuối cùng có liên quan để dự đoán sự kiện quan tâm. Nếu giả định này là thực tế thì bạn có thể gặp nhiều may mắn hơn khi sử dụng các kỹ thuật truyền thống (hồi quy logistic, vịnh ngây thơ, SVM, v.v.) và chỉ cần sử dụng 5 quan sát cuối cùng làm các tính năng / biến độc lập. Thông thường các loại mô hình này sẽ dễ đào tạo hơn và (theo kinh nghiệm của tôi) tạo ra kết quả tốt hơn.

— alto
nguồn

p = l o g (P (O | h m m))

$p = log(P(O|hmm))$

p_{1} = - 2504, p_{2} = - 2403, p_{3} = - 2450

$p_1 =-2504, p_2 = -2403, p_3= -2450$

p

$p$ : Tôi đã chọn 5 in làm kích thước cửa sổ của mình một cách tùy ý, nó có thể dài hơn so với thực hiện.

— Zhubarb

P (H M M 1)

$P(HMM1)$

@Berkan Đối với kích thước cửa sổ, dựa trên trải nghiệm cá nhân của riêng tôi, tôi mong đợi những gì tôi đã nói trong vấn đề này sẽ giữ cho bất kỳ kích thước cửa sổ cố định nào . Rõ ràng tất cả những điều tôi đã nói sẽ cần phải được kiểm tra theo kinh nghiệm cho vấn đề cụ thể của bạn.

— alto

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1)) >? log(P(HMM2))+log(P(O|HMM2))$

l o g (P (H M M 1))

$log(P(HMM1))$

l o g (P (H M M 1))

$log(P(HMM1))$

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1))>?log(P(HMM2))+log(P(O|HMM2))$

l o g (P (H M M 1))

$log(P(HMM1))$

H M M 1 = (5 * 2, 000) / 108, 000

$HMM1 = (5 * 2,000) / 108,000$