EM, có một lời giải thích trực quan?

Thủ tục EM xuất hiện, với người không quen biết, như ma thuật đen nhiều hay ít. Ước tính các tham số của HMM (ví dụ) bằng cách sử dụng dữ liệu được giám sát. Sau đó giải mã dữ liệu chưa được mã hóa, sử dụng chuyển tiếp ngược để 'đếm' các sự kiện như thể dữ liệu được gắn thẻ, nhiều hay ít. Tại sao điều này làm cho mô hình tốt hơn? Tôi biết một số điều về toán học, nhưng tôi vẫn mong muốn một số hình ảnh tinh thần của nó.

Chỉ để lưu một số thao tác gõ, hãy gọi dữ liệu quan sát , dữ liệu bị thiếu Z (ví dụ: trạng thái ẩn của HMM) và vectơ tham số mà chúng tôi đang cố gắng tìm Q (ví dụ: xác suất chuyển tiếp / phát xạ).$X$$Z$$Q$

Giải thích trực quan là về cơ bản chúng ta gian lận, giả vờ một lúc chúng ta biết để chúng ta có thể tìm thấy phân phối Z có điều kiện, từ đó cho phép chúng ta tìm MLE cho Q (bỏ qua thời điểm thực tế là về cơ bản chúng ta đang tạo ra một vòng tròn đối số), sau đó thừa nhận rằng chúng tôi đã gian lận, đưa vào giá trị mới, tốt hơn cho Q và làm lại từ đầu cho đến khi chúng tôi không phải lừa dối nữa.$Q$$Q$$Q$

Về mặt kỹ thuật, bằng cách giả vờ rằng chúng ta biết giá trị thực , chúng ta có thể giả vờ rằng chúng ta biết điều gì đó về phân phối có điều kiện của Z | { X , Q } , cho phép chúng tôi cải thiện ước tính của mình cho Q , mà bây giờ chúng tôi giả vờ là giá trị thực cho $Q$$Z|\{X,Q\}$$Q$$Q$ để chúng tôi có thể giả vờ rằng chúng tôi biết điều gì đó về phân phối có điều kiện của , cho phép chúng tôi cải thiện ước tính của mình cho Q , ... và v.v.$Z|\{X,Q\}$$Q$

Thậm chí về mặt kỹ thuật, nếu chúng ta biết , chúng ta có thể tối đa hóa nhật ký ( f ( Q | X , Z ) ) và có câu trả lời đúng. Vấn đề là chúng ta không biết $Z$$\log(f(Q|X,Z))$$Z$ và mọi ước tính cho phải phụ thuộc vào nó. Nhưng nếu chúng ta muốn tìm ra ước tính tốt nhất (hoặc phân phối) cho Z , sau đó chúng ta cần phải biết X và Q . Chúng ta bị mắc kẹt trong tình huống trứng gà nếu chúng ta muốn phân tích tối đa hóa độc đáo.$Q$$Z$$X$$Q$

'Out' của chúng tôi là - đối với mọi ước tính của (gọi nó là Q n ) - chúng tôi có thể tìm thấy phân phối của Z | { Q n , X } và do đó chúng tôi có thể tối đa hóa khả năng đăng nhập chung dự kiến của mình là Q | { X , Z } , liên quan đến phân phối có điều kiện của Z | { Q n , X } . Phân phối có điều kiện này về cơ bản cho chúng ta biết Z phụ thuộc vào giá trị hiện tại của Q đã cho $Q$$Q_n$$Z|\{Q_n,X\}$$Q|\{X,Z\}$$Z|\{Q_n,X\}$$Z$$Q$$X$và cho chúng tôi biết cách thay đổi để tăng khả năng cho cả Q và Z cùng một lúc đối với một giá trị cụ thể của Q (mà chúng tôi đã gọi là Q n ). Khi chúng tôi đã chọn Q n + 1 mới , chúng tôi có phân phối có điều kiện khác cho Z | { Q n + 1 , X } và do đó phải tính lại kỳ vọng.$Q$$Q$$Z$$Q$$Q_n$$Q_{n+1}$$Z|\{Q_{n+1}, X\}$