Giải thích trực quan về Thông tin của Fisher và Cramer-Rao bị ràng buộc

Tôi không thoải mái với thông tin của Fisher, những gì nó đo lường và nó hữu ích như thế nào. Ngoài ra, mối quan hệ với ràng buộc Cramer-Rao không rõ ràng đối với tôi.

Ai đó có thể xin vui lòng giải thích trực quan về các khái niệm này?

Ở đây tôi giải thích tại sao phương sai tiệm cận của công cụ ước tính khả năng tối đa là giới hạn dưới của Cramer-Rao. Hy vọng rằng điều này sẽ cung cấp một số cái nhìn sâu sắc về sự liên quan của thông tin Fisher.

Suy luận thống kê tiến hành với việc sử dụng hàm khả năng mà bạn xây dựng từ dữ liệu. Ước tính điểm là giá trị tối đa hóa . Công cụ ước tính là một biến ngẫu nhiên, nhưng nó giúp nhận ra rằng hàm khả năng là một "đường cong ngẫu nhiên".θ L ( θ ) θ L ( θ $\mathcal{L}(\theta)$$\hat{\theta}$$\mathcal{L}(\theta)$$\hat{\theta}$ $\mathcal{L}(\theta)$

Ở đây, chúng tôi giả sử dữ liệu iid được rút ra từ một phân phối và chúng tôi xác định khả năng L ( θ ) = $f(x|\theta)$

$$\mathcal{L}(\theta) = \frac{1}{n}\sum_{i=1}^n \log f(x_i|\theta)$$

Tham số có thuộc tính tối đa hóa giá trị của khả năng "đúng", . Tuy nhiên, hàm khả năng "được quan sát" được xây dựng từ dữ liệu hơi "tắt" so với khả năng thực sự. Tuy nhiên, như bạn có thể tưởng tượng, khi kích thước mẫu tăng lên, khả năng "quan sát" sẽ hội tụ thành hình dạng của đường cong khả năng thực sự. Điều tương tự cũng áp dụng cho đạo hàm của khả năng liên quan đến tham số, hàm số điểm . (Câu chuyện dài, thông tin Fisher xác định hàm số điểm quan sát hội tụ nhanh như thế nào với hình dạng của hàm điểm thực.E L ( θ ) L ( θ ) ∂ L / ∂ $\theta$$\mathbb{E}\mathcal{L}(\theta)$$\mathcal{L}(\theta)$ $\partial \mathcal{L}/\partial \theta$

Ở kích thước mẫu lớn, chúng tôi giả định rằng ước tính khả năng tối đa của chúng tôi rất gần với . Chúng tôi phóng to một khu phố nhỏ xung quanh và để hàm khả năng là "bậc hai cục bộ". qq$\hat{\theta}$$\theta$$\theta$$\hat{\theta}$

Ở đó, là điểm tại đó hàm số điểm giao với điểm gốc. Trong khu vực nhỏ này, chúng tôi xử lý các chức năng điểm như một dòng , một có độ dốc và ngẫu nhiên đánh chặn b tại θ . Chúng ta biết từ phương trình cho một dòng ∂L/∂q$\hat{\theta}$ $\partial \mathcal{L}/\partial \theta$$a$$b$$\theta$

$$a(\hat{\theta} - \theta) + b = 0$$

hoặc là

$$\hat{\theta} = \theta - b/a .$$

Từ tính nhất quán của công cụ ước tính MLE, chúng tôi biết rằng

$$\mathbb{E}(\hat{\theta}) = \theta$$

trong giới hạn

Do đó, không có triệu chứng

$$nVar(\hat{\theta}) = nVar(b/a)$$

Nó chỉ ra rằng độ dốc thay đổi ít nhiều so với đánh chặn, và tiệm cận, chúng ta có thể đối xử với chức năng điểm là có độ dốc liên tục trong một khu phố nhỏ xung quanh . Do đó chúng ta có thể viết$\theta$

$$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b)$$

Vậy, giá trị của và n V a r ( b ) là gì? Nó chỉ ra rằng do một sự trùng hợp toán học kỳ diệu, chúng là cùng một đại lượng (modulo một dấu trừ), thông tin Fisher.$a$$nVar(b)$

$$-a = \mathbb{E}\left[-\frac{\partial^2 \mathcal{L}}{\partial \theta^2}\right] = I(\theta)$$

$$nVar(b) = nVar\left[\frac{\partial \mathcal{L}}{\partial \theta}\right] = I(\theta)$$

Do vậy,

tiệm cận: các Cramer-Rao thấp hơn ràng buộc. (Cho thấy1/I(θ)là giới hạn dưới của phương sai của công cụ ước lượng không thiên vị là một vấn đề khác.)

$$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b) = (1/I(\theta)^2)I(\theta) = 1/I(\theta)$$ $1/I(\theta)$

Một cách mà tôi hiểu thông tin nghề cá là theo định nghĩa sau:

$$I(\theta)=\int_{\cal{X}} \frac{\partial^{2}f(x|\theta)}{\partial \theta^{2}}dx-\int_{\cal{X}} f(x|\theta)\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x|\theta)]dx$$

$f(x|\theta)$$\cal{X}$$\theta$$\int_{\cal{X}} f(x|\theta)dx=1$

Bây giờ khi bạn thực hiện ước tính khả năng tối đa (chèn "điều kiện thường xuyên" vào đây), bạn đặt

$$\frac{\partial}{\partial \theta}\log[f(x|\theta)]=0$$

$\theta$$\theta$$x$

Một điều mà tôi vẫn thấy tò mò là khả năng đăng nhập của nó dốc đến mức nào và không phải là chức năng đơn điệu khác của khả năng như thế nào (có lẽ liên quan đến các chức năng chấm điểm "đúng" trong lý thuyết quyết định? Hoặc có thể là các tiên đề nhất quán của entropy ?).

$\exp(-ax^{2})$

$$f(data|\theta)=\exp(\log[f(data|\theta)])$$

Và khi bạn taylor mở rộng khả năng đăng nhập về MLE:

$$f(data|\theta)\approx [f(data|\theta)]_{\theta=\theta_{MLE}}\exp\left(-\frac{1}{2}\left[-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]\right]_{\theta=\theta_{MLE}}(\theta-\theta_{MLE})^{2}\right)$$

$$-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]=n\left(-\frac{1}{n}\sum_{i=1}^{n}\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x_{i}|\theta)]\right)\approx nI(\theta)$$

$\theta$

Đây là bài viết trực quan nhất mà tôi đã thấy cho đến nay:

Giới hạn dưới của Cramér-Rao về phương sai: Nguyên tắc không chắc chắn của Adam và Eve của Michael R. Powers, Tạp chí Tài chính rủi ro, Tập. 7, số 3, 2006

Sự ràng buộc được giải thích bằng sự tương tự của Adam và Eva trong Vườn Địa đàng ném một đồng xu để xem ai được ăn trái cây và sau đó họ tự hỏi mình cần một mẫu lớn đến mức nào để đạt được mức độ chính xác nhất định trong ước tính của họ, và sau đó họ phát hiện ra ràng buộc này ...

Câu chuyện hay với một thông điệp sâu sắc về thực tế.

Mặc dù những lời giải thích được cung cấp ở trên rất thú vị và tôi rất thích xem qua chúng, tôi cảm thấy rằng bản chất của Cramer-Rao Lower Bound được giải thích tốt nhất cho tôi từ góc độ hình học. Trực giác này là một bản tóm tắt về khái niệm elip tập trung từ Chương 6 của cuốn sách Scharf về Xử lý tín hiệu thống kê .

${\boldsymbol\theta}$ Σ$\hat{\boldsymbol\theta}$${\boldsymbol\Sigma}$$\hat{\boldsymbol\theta}$

$f(\hat{\boldsymbol\theta})\propto \exp(-\frac{1}{2}(\hat{\boldsymbol\theta}-{\boldsymbol\theta})^T{\boldsymbol\Sigma}^{-1}(\hat{\boldsymbol\theta}-{\boldsymbol\theta}))$ .

Bây giờ, hãy nghĩ về các đường đồng mức của phân phối này cho . Bất kỳ ràng buộc giới hạn trên nào về xác suất của (nghĩa là ) sẽ dẫn đến một hình elip ở giữa với bán kính cố định . Thật dễ dàng để chỉ ra rằng có một mối quan hệ một-một giữa bán kính của ellipsoid và xác suất mong muốn . Nói cách khác, gần với trong một ellipsoid được xác định bởi bán kính với xác suấtθ ∫ f ( θ ) d θ ≤ P r θ r r P r θ θ r P ${\boldsymbol\theta}\in R^2$$\hat{\boldsymbol\theta}$$\int f(\hat{\boldsymbol\theta})d{\boldsymbol\theta} \le P_r$${\boldsymbol\theta}$$r$$r$$P_r$$\hat{\boldsymbol\theta}$${\boldsymbol\theta}$$r$$P_r$. Ellipsoid này được gọi là ellipsoid nồng độ.

Xem xét mô tả ở trên, chúng ta có thể nói như sau về CRLB. Trong số tất cả các công cụ ước tính không thiên vị, CRLB đại diện cho công cụ ước tính với hiệp phương sai , với xác suất cố định "đóng" (như đã xác định ở trên) nồng độ ellipsoid. Hình dưới đây cung cấp một minh họa 2D (lấy cảm hứng từ minh họa trong cuốn sách của Scharf ).ΣcrlbP$\hat{\boldsymbol\theta}_{crlb}$$\boldsymbol\Sigma_{crlb}$$P_r$