Ma trận thông tin quan sát là một ước lượng phù hợp của ma trận thông tin dự kiến?

Tôi đang cố gắng chứng minh rằng ma trận thông tin quan sát được đánh giá ở công cụ ước tính khả năng tối đa nhất quán yếu (MLE), là một công cụ ước tính nhất quán yếu của ma trận thông tin dự kiến. Đây là một kết quả được trích dẫn rộng rãi nhưng không ai đưa ra một tài liệu tham khảo hoặc bằng chứng (tôi đã hết tôi nghĩ rằng 20 trang đầu tiên của kết quả google và sách giáo khoa thống kê của tôi)!

Sử dụng một chuỗi MLE phù hợp yếu, tôi có thể sử dụng định luật yếu về số lượng lớn (WLLN) và định lý ánh xạ liên tục để có được kết quả mà tôi muốn. Tuy nhiên tôi tin rằng định lý ánh xạ liên tục không thể được sử dụng. Thay vào đó tôi nghĩ rằng luật thống nhất về số lượng lớn (ULLN) cần được sử dụng. Có ai biết một tài liệu tham khảo có bằng chứng về điều này? Tôi có một nỗ lực tại ULLN nhưng bây giờ bỏ qua nó cho ngắn gọn.

Tôi xin lỗi về độ dài của câu hỏi này nhưng ký hiệu phải được giới thiệu. Ký hiệu là như mọi người (bằng chứng của tôi là ở cuối).

Giả sử chúng ta có một mẫu iid của các biến ngẫu nhiên với mật độ , trong đó (ở đây chỉ là một biến ngẫu nhiên chung có cùng mật độ với bất kỳ thành viên nào trong mẫu). Vectơ là vectơ của tất cả các vectơ mẫu trong đó cho tất cả . Giá trị tham số thực của mật độ là và là công cụ ước tính khả năng tối đa nhất quán (MLE) của$\{Y_1,\ldots,Y_N\}$$f(\tilde{Y}|\theta)$$\theta\in\Theta\subseteq\mathbb{R}^{k}$$\tilde{Y}$$Y=(Y_1,\ldots,Y_N)^{T}$$Y_{i}\in\mathbb{R}^{n}$$i=1,\ldots,N$θ N ( Y ) q $\theta_{0}$$\hat{\theta}_{N}(Y)$$\theta_{0}$. Theo các điều kiện đều đặn, ma trận Thông tin Fisher có thể được viết là

trong đó là ma trận Hessian. Mẫu tương đương là${H}_{\theta}$

trong đó . Ma trận thông tin quan sát được là;$I_{y_i}=-E_\theta \left[H_{\theta}(\log f(Y_{i}|\theta)\right]$

$J(\theta) = -H_\theta(\log f(y|\theta)$ ,

(một số người yêu cầu ma trận được đánh giá tại nhưng một số thì không). Mẫu ma trận thông tin quan sát là;$\hat{\theta}$

$J_N(\theta)=\sum_{i=1}^N J_{y_i}(\theta)$

trong đó $J_{y_i}(\theta)=-H_\theta(\log f(y_{i}|\theta)$ .

Tôi có thể chứng minh sự hội tụ về xác suất của công cụ ước tính với , nhưng không phải là đến . Đây là bằng chứng của tôi cho đến nay;$N^{-1}J_N(\theta)$$I(\theta)$$N^{-1}J_{N}(\hat{\theta}_N(Y))$$I(\theta_{0})$

Bây giờ là phần tử của , với bất kỳ . Nếu mẫu là iid, thì theo định luật yếu của số lượng lớn (WLLN), trung bình của các phép triệu hồi này hội tụ xác suất đến . Do đó cho tất cả , và vì vậy . Thật không may, chúng ta không thể đơn giản kết luận ( r , s ) J N ( θ ) r , s = 1 , ... , k - E θ [ ( H θ ( log f $(J_{N}(\theta))_{rs}=-\sum_{i=1}^N (H_\theta(\log f(Y_i|\theta))_{rs}$$(r,s)$$J_N(\theta)$$r,s=1,\ldots,k$ N - 1 ( J N ( θ ) ) r s P → ( I ( θ ) ) r s r , s = 1 , ... , k $-E_{\theta}[(H_\theta(\log f(Y_{1}|\theta))_{rs}]=(I_{Y_1}(\theta))_{rs}=(I(\theta))_{rs}$$N^{-1}(J_N(\theta))_{rs}\overset{P}{\rightarrow}(I(\theta))_{rs}$$r,s=1,\ldots,k$ N - 1 J N ( θ N (Y)) P → Tôi( θ 0$N^{-1}J_N(\theta)\overset{P}{\rightarrow}I(\theta)$$N^{-1}J_{N}(\hat{\theta}_N(Y))\overset{P}{\rightarrow}I(\theta_0)$bằng cách sử dụng định lý ánh xạ liên tục vì không cùng chức năng với .Tôi ( ⋅ $N^{-1}J_{N}(\cdot)$$I(\cdot)$

Bất kì sự giúp đỡ nào trong việc này đều rất được trân trọng.

$\newcommand{\convp}{\stackrel{P}{\longrightarrow}}$

Tôi đoán trực tiếp thiết lập một số loại luật thống nhất với số lượng lớn là một cách tiếp cận có thể.

Đây là một cái khác.

Chúng tôi muốn chứng minh rằng .$\frac{J^N(\theta_{MLE})}{N} \convp I(\theta^*)$

(Như bạn đã nói, chúng tôi có WLLN mà . Nhưng điều này không trực tiếp giúp chúng tôi.)$\frac{J^N(\theta)}{N} \convp I(\theta)$

Một chiến lược khả thi là chỉ ra rằng

và

Nếu cả hai kết quả đều đúng, thì chúng ta có thể kết hợp chúng để có được

đó chính xác là những gì chúng tôi muốn thể hiện.

Phương trình đầu tiên xuất phát từ định luật yếu của số lượng lớn.

Thứ hai gần như xuất phát từ định lý ánh xạ liên tục, nhưng thật không may, hàm chúng tôi muốn áp dụng CMT để thay đổi với : của chúng tôi thực sự là . Vì vậy, chúng tôi không thể sử dụng CMT.N g g N ( θ ) : = J N ( θ $g()$$N$$g$$g_N(\theta) := \frac{J^N(\theta)}{N}$

(Nhận xét: Nếu bạn kiểm tra bằng chứng của CMT trên Wikipedia, hãy lưu ý rằng tập hợp mà họ xác định trong chứng minh của họ cho chúng tôi bây giờ cũng phụ thuộc vào . Về cơ bản chúng tôi cần một số loại không liên tục tại trên các chức năng của chúng tôi .) n θ * g N ( θ $B_\delta$$n$$\theta^*$$g_N(\theta)$

May mắn thay, nếu bạn cho rằng gia đình là ngẫu nhiên ngẫu nhiên tại , sau đó nó ngay lập tức theo đó cho , $\mathcal{G} = \{g_N | N=1,2,\ldots\}$$\theta^*$$\theta_{MLE} \convp \theta^*$

(Xem tại đây: http : //www.cs.ber siêu.edu/~jordan/cifts/210B-spring07/lectures/stat210b_lecture_12.pdf để biết định nghĩa về sự tương đương ngẫu nhiên tại , và bằng chứng về thực tế trên. )$\theta^*$

Do đó, giả sử rằng là SE tại , kết quả mong muốn của bạn là đúng và thông tin Fisher theo kinh nghiệm hội tụ vào thông tin Fisher dân số.$\mathcal{G}$$\theta^*$

Bây giờ, câu hỏi quan trọng tất nhiên là, bạn cần áp dụng những điều kiện nào cho để có được SE? Có vẻ như một cách để làm điều này là thiết lập một điều kiện Lipshitz trên toàn bộ lớp chức năng (xem tại đây: http://econ.duke.edu/uploads/media_items/uniform-convergence-and-stochastic -equicContuity.origen.pdf ).$\mathcal{G}$$\mathcal{G}$

Câu trả lời ở trên sử dụng phương pháp ngẫu nhiên ngẫu nhiên hoạt động rất tốt, nhưng ở đây tôi đang trả lời câu hỏi của riêng mình bằng cách sử dụng một định luật thống nhất về số lượng lớn để chỉ ra rằng ma trận thông tin quan sát là một công cụ ước lượng nhất quán của ma trận thông tin, tức là nếu chúng ta cắm vào một chuỗi các công cụ ước tính nhất quán mạnh. Tôi hy vọng nó là chính xác trong tất cả các chi tiết.$N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$

Chúng tôi sẽ sử dụng là một bộ chỉ số, và chúng ta hãy tạm thời áp dụng các ký hiệu J ( ~ Y , θ ) : = J ( θ ) để được rõ ràng về sự phụ thuộc của J ( θ ) trên vector ngẫu nhiên ~ Y . Chúng ta cũng sẽ làm việc theo nguyên tố với ( J ( ˜ Y , θ ) ) $I_{N}=\{1,2,...,N\}$$J(\tilde{Y},\theta):=J(\theta)$$J(\theta)$$\tilde{Y}$ và( J N (θ) ) r s = ∑ N i = 1 (J( Y i ,θ) ) r s ,r,s=1,. . . ,k, cho cuộc thảo luận này. Chức năng(J(⋅,θ) ) r s là giá trị thực trên tập R n ×$(J(\tilde{Y},\theta))_{rs}$$(J_{N}(\theta))_{rs}=\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}$$r,s=1,...,k$$(J(\cdot,\theta))_{rs}$ , và chúng tôi sẽ giả sử rằng nó là Lebesgue đo lường cho mỗiq∈ q ∘ . Một luật thống nhất (mạnh) với số lượng lớn xác định một tập hợp các điều kiện theo đó$\mathbb{R}^{n}\times\Theta^{\circ}$$\theta\in\Theta^{\circ}$

$\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}(J_{N}(\theta))_{rs}-E_{\theta}\left[(J(Y_{1},\theta))_{rs}\right]\right|=\nonumber\\ \hspace{60pt}\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\overset{a.s}{\longrightarrow}0\hspace{100pt}(1)$

Các điều kiện phải được thỏa mãn để đó (1) nắm giữ là (a) là một tập hợp nhỏ gọn; (b) ( J ( ˜ Y , θ ) ) r s là hàm liên tục trên Θ ∘ với xác suất 1; (c) cho mỗi θ ∈ q ∘ ( J ( ~ Y , θ ) ) r s bị chi phối bởi một hàm h ( ~ Y ) , tức | ( J ( ~ Y$\Theta^{\circ}$$(J(\tilde{Y},\theta))_{rs}$$\Theta^{\circ}$$\theta\in \Theta^{\circ}$ $(J(\tilde{Y},\theta))_{rs}$$h(\tilde{Y})$ ; và (d) cho mỗi θ ∈ q ∘ E θ [ h ( ~ Y ) ] < ∞ ;. Những điều kiện này đến từ Jennrich (1969, Định lý 2).$|(J(\tilde{Y},\theta))_{rs}|<h(\tilde{Y})$$\theta\in \Theta^{\circ}$ $E_{\theta}[h(\tilde{Y})]<\infty$

Bây giờ đối với bất kỳ , i ∈ I N và θ ' ∈ S ⊆ q ∘ , sự bất bình đẳng sau đây rõ ràng là giữ$y_{i}\in\mathbb{R}^{n}$$i\in I_{N}$$\theta'\in S\subseteq\Theta^{\circ}$

$\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta'))_{rs}-(I(\theta'))_{rs}\right|\leq\underset{\theta\in S}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|.\hspace{50pt}(2)$

Giả sử rằng là một chuỗi thống nhất mạnh của ước lượng cho θ 0 , và để cho Θ N 1 = B δ N 1 ( θ 0 ) ⊆ K ⊆ Θ ∘ là một bóng mở trong R k với bán kính δ N 1 → 0 khi N 1 → ∞ , và giả sử K là nhỏ gọn. Sau đó, kể từ khi θ N$\{\hat{\theta}_{N}(Y)\}$$\theta_{0}$$\Theta_{N_{1}}=B_{\delta_{N_{1}}}(\theta_{0})\subseteq K\subseteq \Theta^{\circ}$$\mathbb{R}^{k}$$\delta_{N_{1}}\rightarrow 0$$N_{1}\rightarrow\infty$$K$ cho N đủ đủ lớn chúng ta có P [ lim N { θ N ( Y ) ∈ q N 1 } ] = 1 cho đủ lớn N . Cùng với (2) điều này ngụ ý$\hat{\theta}_{N}(Y)\in \Theta_{N_{1}}$$N$$P[\underset{N}{\text{lim}}\{\hat{\theta}_{N}(Y)\in\Theta_{N_{1}}\}]=1$$N$

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|\leq\right.\right.\nonumber\\ \hspace{40pt}\left.\left.\underset{\theta\in\Theta_{N_{1}}}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\right\}\right]=1.\hspace{100pt}(3)$

Now $\Theta_{N_{1}}\subseteq\Theta^{\circ}$ implies conditions (a)-(d) of Jennrich (1969, Theorem 2) apply to $\Theta_{N_{1}}$. Thus (1) and (3) imply

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|=0\right\}\right]=1.\hspace{100pt}(4)$

Since $(I(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}I(\theta_{0})$ then (4) implies that $N^{-1}(J_{N}(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}(I(\theta_{0}))_{rs}$. Note that (3) holds however small $\Theta_{N_{1}}$ is, and so the result in (4) is independent of the choice of $N_{1}$ other than $N_{1}$ must be chosen such that $\Theta_{N_{1}}\subseteq \Theta^{\circ}$. This result holds for all $r,s=1,...,k$, and so in terms of matrices we have $N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$.