Câu hỏi cơ bản về ma trận thông tin Fisher và mối quan hệ với Hessian và các lỗi tiêu chuẩn

54

Ok, đây là một câu hỏi khá cơ bản, nhưng tôi hơi bối rối. Trong luận án của tôi, tôi viết:

Các lỗi tiêu chuẩn có thể được tìm thấy bằng cách tính toán nghịch đảo của căn bậc hai của các phần tử đường chéo của ma trận Thông tin Fisher (được quan sát):

\begin{aligned} s_{\hat{μ}, {\hat{σ}}^{2}} = \frac{1}{\sqrt{I (\hat{μ}, {\hat{σ}}^{2})}} \end{aligned}

$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$ Vì lệnh tối ưu hóa trong R thu nhỏ ma trận Thông tin Fisher (được quan sát) có thể được tìm thấy bằng cách tính toán nghịch đảo của Hessian:

- \log L

$-\log\mathcal{L}$

\begin{aligned} I (\hat{μ}, {\hat{σ}}^{2}) = H^{- 1} \end{aligned}

$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$

Câu hỏi chính của tôi: Đây có phải là những gì tôi đang nói ?

Tôi hơi bối rối, bởi vì trong nguồn này ở trang 7 có ghi:

Ma trận thông tin là giá trị âm của giá trị kỳ vọng của ma trận Hessian

(Vì vậy, không có nghịch đảo của Hessian.)

Trong khi đó trong nguồn này ở trang 7 (chú thích 5) thì nó ghi:

Thông tin Fisher được quan sát bằng . $(-H)^{-1}$

(Vì vậy, đây là nghịch đảo.)

Tôi nhận thức được dấu trừ và khi nào nên sử dụng nó và khi nào không, nhưng tại sao có sự khác biệt trong việc lấy nghịch đảo hay không?

maximum-likelihood fisher-information

— Jen Bohold
nguồn

@COOLSerdash Cảm ơn bạn đã sửa lỗi và +1, nhưng nguồn này: uns.edu/~monogan/computing/r/MLE_in_R.pdf trang 7 nói rõ rằng thông tin Fisher được quan sát có bằng với HÓA ĐƠN của Hessian không?

— Jen Bohold

@COOLSerdash Ok, bạn có thể muốn đăng bài này dưới dạng câu trả lời.

— Jen Bohold

75

Yudi Pawitan viết trong cuốn sách In All Likabilities rằng đạo hàm thứ hai của khả năng đăng nhập được đánh giá ở mức ước tính khả năng tối đa (MLE) là thông tin của Fisher được quan sát (xem thêm tài liệu này , trang 2). Đây chính là điều mà hầu hết các thuật toán tối ưu hóa như optimtrong Rtrở lại: Hessian đánh giá tại MLE. Khi âmkhả năng đăng nhập được giảm thiểu, Hessian âm được trả lại. Như bạn đã chỉ ra một cách chính xác, các lỗi tiêu chuẩn ước tính của MLE là căn bậc hai của các phần tử đường chéo của nghịch đảo của ma trận thông tin Fisher được quan sát. Nói cách khác: Căn bậc hai của các phần tử đường chéo của nghịch đảo Hessian (hoặc Hessian âm) là các lỗi tiêu chuẩn ước tính.

Tóm lược

Hessian âm tính được đánh giá tại MLE giống như ma trận thông tin Fisher quan sát được đánh giá tại MLE.
Về câu hỏi chính của bạn: Không, không chính xác rằng thông tin Fisher được quan sát có thể được tìm thấy bằng cách đảo ngược Hessian (phủ định).
Về câu hỏi thứ hai của bạn: Nghịch đảo của Hessian (âm) là một công cụ ước tính của ma trận hiệp phương sai tiệm cận. Do đó, căn bậc hai của các phần tử đường chéo của ma trận hiệp phương sai là các ước tính của các lỗi tiêu chuẩn.
Tôi nghĩ rằng tài liệu thứ hai bạn liên kết để có nó sai.

Chính thức

Đặt là hàm khả năng đăng nhập. Các thông tin Fisher ma trận là một đối xứng ma trận chứa các mục: Các ma trận thông tin Fisher quan sát chỉ đơn giản là , ma trận thông tin được đánh giá ở mức ước tính khả năng tối đa (MLE). Hessian được định nghĩa là: $l(\theta)$ $\mathbf{I}(\theta)$ $(p\times p)$

I (θ) = - \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

I ({\hat{θ}}_{M L})

$\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$

H (θ) = \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$ Không có gì khác ngoài ma trận các đạo hàm thứ hai của hàm khả năng liên quan đến các tham số. Theo sau, nếu bạn giảm thiểu khả năng log âm , Hessian được trả về tương đương với ma trận thông tin Fisher được quan sát trong khi đó trong trường hợp bạn tối đa hóa khả năng log, thì Hessian âm là ma trận thông tin được quan sát.

Hơn nữa, nghịch đảo của ma trận thông tin Fisher là một công cụ ước tính của ma trận hiệp phương sai tiệm cận: Các lỗi tiêu chuẩn sau đó là căn bậc hai của các phần tử đường chéo của ma trận hiệp phương sai. Để phân phối tiệm cận của ước tính khả năng tối đa, chúng ta có thể viết trong đó biểu thị giá trị tham số thực. Do đó, lỗi tiêu chuẩn ước tính của ước tính khả năng tối đa được đưa ra bởi:

V a r ({\hat{θ}}_{M L}) = [I ({\hat{θ}}_{M L})]^{- 1}

$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$

{\hat{θ}}_{M L} \overset{a}{\sim} N (θ_{0}, [I ({\hat{θ}}_{M L})]^{- 1})

$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$

θ_{0}

$\theta_{0}$

S E ({\hat{θ}}_{M L}) = \frac{1}{\sqrt{I ({\hat{θ}}_{M L})}}

$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$

— COOLSerdash
nguồn

1

nên nói "khi khả năng đăng nhập tiêu cực được giảm thiểu " (hoặc tối ưu hóa ).

— cmo

8

Thông tin Fisher (dự kiến) là ; thông tin được quan sát (Fisher) chỉ là , được gọi là không phải vì nó được đánh giá theo ước tính tương tự tối đa của , mà bởi vì đó là chức năng của dữ liệu được quan sát thay vì trung bình so với các quan sát có thể. Điều này có lẽ bị che khuất bởi các ví dụ quen thuộc 'xem xét suy luận về tham số chính tắc trong một gia đình hàm mũ đầy đủ, khi .

I (θ) = E I (θ)

$\mathcal{I}(\theta)=\operatorname{E}I(\theta)$

I (θ)

$I(\theta)$

θ

$\theta$

I (θ) = I (θ)

$\mathcal{I}(\theta)=I(\theta)$

— Scortchi - Phục hồi Monica

6

Ước tính các hàm khả năng đòi hỏi một quá trình hai bước.

Đầu tiên, người ta khai báo hàm khả năng đăng nhập. sau đó người ta tối ưu hóa các chức năng khả năng đăng nhập. Tốt rồi.

Viết các hàm khả năng đăng nhập trong R, chúng tôi yêu cầu (trong đó đại diện cho chức năng log - khả năng) bởi vì lệnh tối ưu hóa trong R sẽ tối thiểu hóa một chức năng theo mặc định. tối thiểu hóa -l giống như tối đa hóa l, đó là những gì chúng ta muốn. $-1*l$ $l$

Bây giờ, Ma trận thông tin Fisher được quan sát bằng . lý do mà chúng tôi không phải nhân số phức với -1 là tất cả các đánh giá đã được thực hiện theo -1 lần khả năng đăng nhập. Điều này có nghĩa là hessian được tạo bởi Optim đã được nhân với -1 $(-H)^-1$

— Adelino Martins
nguồn