Mối quan hệ giữa Ma trận Hessian và Ma trận hiệp phương sai

Trong khi tôi đang nghiên cứu Ước tính khả năng tối đa, để suy luận về Ước tính khả năng tối đa, chúng ta cần biết phương sai. Để tìm ra phương sai, tôi cần biết Giới hạn Rao của Cramer, trông giống như Ma trận Hessian với Đạo hàm thứ hai về độ cong. Tôi là loại hỗn hợp để xác định mối quan hệ giữa ma trận hiệp phương sai và ma trận hessian. Hy vọng được nghe một số giải thích về câu hỏi. Một ví dụ đơn giản sẽ được đánh giá cao.

— người dùng 12258
nguồn

Trước tiên bạn nên kiểm tra câu hỏi cơ bản này về ma trận thông tin Fisher và mối quan hệ với Hessian và các lỗi tiêu chuẩn

Giả sử chúng ta có một mô hình thống kê (gia đình bản phân phối) . Trong trường hợp chung nhất mà chúng ta có , vì vậy gia đình này được tham số hóa bởi . Trong những điều kiện đều đặn nhất định, chúng tôi có $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

I_{i, j} (θ) = - E_{θ} [\frac{\partial^{2} l (X; θ)}{\partial θ_{i} \partial θ_{j}}] = - E_{θ} [H_{i, j} (l (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

$I_{i,j}$ $\theta$ $X$

l (X; θ) = l n (f_{θ} (X)), for some θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

$\theta$

$\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

$T(X)$ $cov_{\theta}(T(X))$

c o v_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} I^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

$A \ge B$ $A - B$ $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

c o v_{θ} (T (X)) \geq I^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

Nhưng nó nói gì với chúng ta thực sự? Ví dụ, nhớ lại rằng

v a r_{θ} (T_{i} (X)) = [c o v_{θ} (T (X))]_{i, i}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

$A$

\forall_{i} A_{i, i} \geq 0

$\forall_i\ A_{i,i} \ge 0$

$B(\theta)$

\forall_{i} v a r_{θ} (T_{i} (X)) \geq [B (θ)]_{i, i}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

Vì vậy, CRLB không cho chúng tôi biết phương sai của công cụ ước tính của chúng tôi, nhưng công cụ ước tính của chúng tôi là tối ưu hay không , nghĩa là nếu nó có hiệp phương sai thấp nhất trong số tất cả các công cụ ước tính không thiên vị.

— Gradukasz tốt nghiệp
nguồn

Tôi đánh giá cao lời giải thích của bạn ở đây. Tôi không thực sự là một người toán học nhưng tôi đang trong quá trình học toán một cách thanh thản. Tuy nhiên, nó vẫn trông quá trừu tượng với tôi. Tôi hy vọng có một số ví dụ nhẹ nhàng với những con số đơn giản, điều đó chắc chắn sẽ hiểu nó.

— 122,58