Tại sao ma trận thông tin Fisher là semidefinite tích cực?


18

Đặt . Ma trận thông tin Fisher được định nghĩa là:θRn

I(θ)i,j=E[2log(f(X|θ))θiθj|θ]

Làm cách nào tôi có thể chứng minh Ma trận thông tin Fisher là bán chính xác?


7
Nó không phải là giá trị mong đợi của một sản phẩm bên ngoài của điểm số với chính nó?
Neil G

Câu trả lời:


19

Hãy xem cái này: http://en.wikipedia.org/wiki/Fisher_inif#Matrix_form

Từ định nghĩa, chúng ta có

Iij=Eθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))],
Choi,j=1,,k , trong đói=/θi . Biểu hiện của bạn choIij theo sau điều này trong các điều kiện đều đặn.

u=(u1,,uk)Rn

i,j=1kuiIijuj=i,j=1k(uiEθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))]uj)=Eθ[(i=1kuiilogfXΘ(Xθ))(j=1kujjlogfXΘ(Xθ))]=Eθ[(i=1kuiilogfXΘ(Xθ))2]0.

If this component wise notation is too ugly, note that the Fisher Information matrix H=(Iij) can be written as H=Eθ[SS], in which the scores vector S is defined as

S=(1logfXΘ(Xθ),,klogfXΘ(Xθ)).

Hence, we have the one-liner

uHu=uEθ[SS]u=Eθ[uSSu]=Eθ[||Su||2]0.


3
(+1) Good answer and welcome back, Zen. I was becoming concerned we might have lost you permanently given the length of your hiatus. That would have been a real shame!
cardinal

5

WARNING: not a general answer!

If f(X|θ) corresponds to a full-rank exponential family, then the negative Hessian of the log-likelihood is the covariance matrix of the sufficient statistic. Covariance matrices are always positive semi-definite. Since the Fisher information is a convex combination of positive semi-definite matrices, so it must also be positive semi-definite.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.