Tại sao chính xác thông tin quan sát được sử dụng?

17

Trong cài đặt khả năng tối đa tiêu chuẩn (iid mẫu từ một số phân phối có mật độ )) và trong trường hợp mô hình được chỉ định chính xác, Fisher thông tin được cung cấp bởi $Y_{1}, \ldots, Y_{n}$ $f_{y}(y|\theta_{0}$

I (θ) = - E_{θ_{0}} [\frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)]

$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$

trong đó kỳ vọng được thực hiện liên quan đến mật độ thực sự tạo ra dữ liệu. Tôi đã đọc được thông tin quan sát của Fisher

\hat{J} (θ) = = - \frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)

$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$

được sử dụng chính vì tích phân liên quan đến việc tính toán Thông tin Fisher (dự kiến) có thể không khả thi trong một số trường hợp. Điều khiến tôi bối rối là ngay cả khi tích phân là có thể thực hiện được, thì kỳ vọng phải được thực hiện đối với mô hình thực, liên quan đến giá trị tham số chưa biết . Nếu đúng như vậy có vẻ như không biết nó là không thể để tính toán . Điều này có đúng không? $\theta_{0}$ $\theta_{0}$ $I$

maximum-likelihood fisher-information

— người dùng2249626
nguồn

13

Bạn đã có bốn số lượng ở đây: tham số thực , ước tính nhất quán , thông tin dự kiến tại và thông tin quan sát tại . Các đại lượng này chỉ tương đương không có triệu chứng, nhưng đó thường là cách chúng được sử dụng. $\theta_0$ $\hat \theta$ $I(\theta)$ $\theta$ $J(\theta)$ $\theta$

Thông tin quan sát được hội tụ xác suất với thông tin dự kiến khi là mẫu iid từ . Ở đây biểu thị kỳ vọng w / r / t phân phối được lập chỉ mục bởi : . Sự hội tụ này được duy trì vì luật số lượng lớn, do đó, giả định rằng rất quan trọng ở đây.
$J (θ_{0}) = = \frac{1}{N} Σ_{Tôi = = 1}^{N} \frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y_{Tôi} | θ_{0})$ $J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$ $Tôi (θ_{0}) = = E_{θ_{0}} [\frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y | θ_{0})]$ $I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$ $Y$ $f(\theta_0)$ $E_{\theta_0} (x)$ $\theta_0$ $\int x f(x | \theta_0) dx$ $Y \sim f(\theta_0)$
Khi bạn có ước tính hội tụ xác suất theo tham số thực (nghĩa là phù hợp) thì bạn có thể thay thế nó cho bất kỳ nơi nào bạn thấy ở trên, về cơ bản là do định lý ánh xạ liên tục và tất cả các điểm hội tụ tiếp tục được tổ chức. $\hat \theta$ $\theta_0$ $\theta_0$ $^*$

$^*$ Trên thực tế, nó có vẻ là một chút tinh tế .

Ghi chú

Như bạn đã phỏng đoán, thông tin quan sát thường dễ làm việc hơn vì sự khác biệt dễ hơn tích hợp và bạn có thể đã đánh giá nó trong quá trình tối ưu hóa số. Trong một số trường hợp (phân phối chuẩn) chúng sẽ giống nhau.

Bài viết "Đánh giá độ chính xác của công cụ ước tính khả năng tối đa: Thông tin về dự đoán câu cá được quan sát" của Efron và Hinkley (1978) đưa ra lập luận ủng hộ thông tin quan sát được cho các mẫu hữu hạn.

— Andrew M
nguồn

4

Đã có một số nghiên cứu mô phỏng xuất hiện ủng hộ các quan sát lý thuyết của Efron & Hinkley (được đề cập trong câu trả lời của Andrew), đây là một nghiên cứu mà tôi biết về tay trái: Maldonado, G. và Greenland, S. (1994). So sánh hiệu suất của các khoảng tin cậy dựa trên mô hình khi không xác định được mẫu chính xác. Dịch tễ học, 5, 171-182. Tôi chưa thấy nghiên cứu nào xung đột. Điều thú vị là các gói GLM tiêu chuẩn mà tôi biết sử dụng thông tin dự kiến để tính các khoảng Wald. Tất nhiên đây không phải là vấn đề khi (như trong GLMs tuyến tính trong tham số tự nhiên) các ma trận thông tin quan sát và dự kiến là bằng nhau.

— Sander Greenland
nguồn