Bài toán thực hành thuật toán EM


9

Đây là một vấn đề thực hành cho một kỳ thi giữa kỳ. Vấn đề là một ví dụ thuật toán EM. Tôi đang gặp rắc rối với một phần (f). Tôi liệt kê các phần (a) - (e) để hoàn thành và trong trường hợp tôi đã mắc lỗi trước đó.

Hãy để được độc lập biến ngẫu nhiên hàm mũ với tốc độ θ . Thật không may, các giá trị X thực tế không được quan sát và chúng tôi chỉ quan sát xem các giá trị X có nằm trong các khoảng nhất định hay không. Đặt G 1 j = 1 { X j < 1 } , G 2 j = 1 { 1 < X j < 2 }G 3 j = 1 {X1,,XnθXXG1j=1{Xj<1}G2j=1{1<Xj<2} choj=1,Hoài,n. Dữ liệu được quan sát bao gồm( G 1 j , G 2 j , G 3 j ).G3j=1{Xj>2}j=1,,n(G1j,G2j,G3j)

(a) Đưa ra khả năng dữ liệu được quan sát:

L(θ|G)=j=1nPr{Xj<1}G1jPr{1<Xj<2}G2jPr{Xj>2}G3j=j=1n(1eθ)G1j(eθe2θ)G2j(e2θ)G3j

(b) Cung cấp khả năng dữ liệu đầy đủ

L(θ|X,G)=j=1n(θeθxj)G1j(θeθxj)G2j(θeθxj)G3j

(c) Lấy mật độ dự đoán của biến tiềm ẩn f(xj|G,θ)

f(xj|G,θ)=fX,G(xj,g)fG(g)=θeθxj1{xjregion r s.t. Grj=1}(1eθ)g1j(eθe2θ)g2j(e2θ)g3j

(d) Bước E. Cung cấp cho các chức năng Q(θ,θi)

Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθe2θ)N3loge2θ=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθ(1eθ))+2θN3=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3

Trong đó N1=j=1ng1j,N2=j=1ng2j,N3=j=1ng3j

(e) Đưa ra biểu thức cho cho r = 1 , 2 , 3 .E[Xj|Grj=1,θi]r=1,2,3

Tôi sẽ liệt kê các kết quả của mình mà tôi khá chắc chắn là đúng nhưng các dẫn xuất sẽ hơi dài cho câu hỏi đã quá dài này:

E[Xj|G1j=1,θi]=(11eθi)(1θieθi(1+1/θi))E[Xj|G2j=1,θi]=(1eθie2θi)(eθi(1+1/θi)e2θi(2+1/θi))E[Xj|G3j=1,θi]=(1e2θi)(e2θi(2+1/θi))

Đây là phần tôi bị mắc kẹt và có thể là do một lỗi trước đó:

(f) M-Bước. Tìm các nhằm tối đa hóa Q ( θ , θ i )θQ(θ,θi)

Từ định luật tổng kỳ vọng ta có ThereforE[Xj|G,θi]=(1θieθi(1+1/θi))+(eθi(1+1/θi)e2θi(2+1/θi))+(e2θi(2+1/θi))=1/θi

Q(θ,θi)=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3=nlogθθnθiN1log(1eθ)+θN2N2log(1eθ)+2θN3Q(θ,θi)θ=nθnθi(N1+N2)eθ1eθ+N2+2N3

θθ


θiθ[i](i)θ(i)iθi

1
i

Câu trả lời:


5

Khả năng dữ liệu hoàn chỉnh không nên liên quan đến G! Nó chỉ đơn giản là khả năng củaθXGrjG

Trong phần (d) nên lấy kỳ vọng về khả năng nhật ký dữ liệu hoàn chỉnh, chứ không phải khả năng nhật ký dữ liệu được quan sát.

XjXj(i)


@Benjamin Vấn đề xảy ra như thế nào? Tôi có thể giúp bạn hiểu làm thế nào để làm điều đó?
jsk

Cảm ơn các ý kiến ​​@jsk. Tối qua tôi mệt mỏi nên đi ngủ, nhưng tôi sẽ giải quyết chuyện này một lần nữa vào sáng nay sau bữa sáng :)
bdeonovic

Tôi nghĩ rằng tôi đã tìm ra nó! Cám ơn bạn một lần nữa! Điều này thực sự là để chuẩn bị cho một trận chung kết mà tôi có ngày hôm nay, vì vậy nó thực sự đã giúp làm rõ một số điều về EM.
bdeonovic

Không có gì. Hy vọng trận chung kết của bạn diễn ra tốt đẹp ngày hôm nay!
JSK

4

Dựa trên ý kiến ​​của @ jsk, tôi sẽ cố gắng khắc phục sai lầm của mình:

L(θ|X,G)=j=1nθeθxj

Q(θ,θi)=nlogθθj=1nE[Xj|G,θi]=nlogθθ(j=1ng1j1eθi)(1θieθi(1+1/θi))θ(j=1ng2jeθi(1eθi))(eθi(1+1/θi)e2θi(2+1/θi))θ(j=1ng3je2θi)(e2θi(2+1/θi))=nlogθθN1AθN2BθN3CQ(θ,θi)θ=nθN1AN2BN3C=set0

θθ(i+1)=nN1A+N2B+N3C

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.