Các mô hình Markov ẩn và thuật toán tối đa hóa kỳ vọng

Ai đó có thể làm rõ làm thế nào các mô hình Markov ẩn có liên quan đến tối đa hóa kỳ vọng? Tôi đã trải qua nhiều liên kết nhưng không thể đưa ra một cái nhìn rõ ràng.

Cảm ơn!

Thuật toán EM (tối đa hóa kỳ vọng) là một thuật toán chung để tối ưu hóa hàm khả năng trong trường hợp mô hình được chỉ định một cách xác suất theo thành phần được quan sát và không quan sát được (tiềm ẩn). HMM (mô hình Markov ẩn) là mô hình của hình thức này vì chúng có thành phần không quan sát được, trạng thái ẩn và các quan sát thực tế thường được gọi là phát thải trong thuật ngữ HMM. Do đó, các HMM tạo thành một lớp các mô hình mà thuật toán EM có thể hữu ích.

$(X,Y)$$p_{\theta}(x,y)$$\theta$$X = x$

• $x$$\theta$
• bước M , là một tối đa hóa

Thuật toán EM có ý nghĩa nhất nếu hai bước trên có thể được thực hiện theo cách tính toán hiệu quả, ví dụ: khi chúng ta có các biểu thức dạng đóng cho kỳ vọng có điều kiện và tối đa hóa.

Trong lịch sử, thuật toán EM nói chung được ghi nhận cho Dempster, Laird và Rubin , người đã chứng minh trong bài báo năm 1977 của họ, trong số những điều khác, thuật toán dẫn đến một chuỗi các tham số với các giá trị khả năng tăng đơn điệu. Họ cũng đặt ra thuật ngữ "thuật toán EM". Thật thú vị, thuật toán EM cho HMM đã được mô tả vào năm 1970 bởi Baum et al. , và cũng thường được gọi là thuật toán Baum-Welch trong tài liệu HMM (tôi không biết chính xác những gì Welch đã làm ...).

Tối đa hóa kỳ vọng là một phương pháp lặp được sử dụng để thực hiện suy luận thống kê trên nhiều mô hình thống kê tổng quát khác nhau, ví dụ như hỗn hợp Gaussian và các mô hình loại mạng Bayes khác. Kết nối duy nhất là HMM cũng là mạng Bayes. Nhưng người ta có thể sẽ không sử dụng EM trên HMM vì có một thuật toán chính xác để suy luận trong các HMM được gọi là thuật toán Viterbi. Vì vậy, mặc dù người ta có thể sử dụng EM để thực hiện suy luận về HMM, nhưng bạn sẽ không vì lý do nào.

Trong HMM, chúng tôi cố gắng ước tính chủ yếu ba tham số:

1. $K$$K$

2. $K\times K$

3. $K\times N$$N$

Bây giờ, phần EM xuất hiện khi bạn cố gắng ước tính số lượng / tham số đã nêu ở trên. Bắt đầu với một số dự đoán ngẫu nhiên, khả năng của các quan sát được đánh giá và các tham số được điều chỉnh lặp đi lặp lại cho đến khi chúng tôi có được khả năng tối đa. Vì vậy, thông qua HMM, chúng tôi mô hình hóa một số quy trình và để chúng tôi cần giới thiệu một số tham số. Để ước tính các tham số, EM được hiển thị.

Đây là một câu trả lời rất ngắn gọn. Việc thực hiện EM đòi hỏi một loạt các vấn đề phụ khác để giải quyết thông qua một loạt các kỹ thuật. Để hiểu sâu hơn, bài hướng dẫn cổ điển Rabiner rất được khuyến khích.