Hàm điểm của Fisher có nghĩa là không - điều đó có nghĩa là gì?

Tôi đang cố gắng theo dõi đánh giá của hoàng tử về lý thuyết khả năng . Họ định nghĩa Fisher’s score functionlà đạo hàm đầu tiên của hàm khả năng đăng nhập và họ nói rằng điểm số là một vectơ ngẫu nhiên. Ví dụ: cho phân phối hình học:

u (π) = n (\frac{1}{π} - \frac{\bar{y}}{1 - π})

$u(\pi) = n\left(\frac{1}{\pi} - \frac{\bar{y}}{1-\pi} \right)$

Và tôi có thể thấy rằng nó thực sự là một hàm (của tham số ) và nó là ngẫu nhiên, vì nó liên quan đến . $\pi$ $\bar{y}$

NHƯNG sau đó họ nói điều gì đó tôi không hiểu: "điểm được đánh giá ở giá trị tham số thực có nghĩa là 0" và họ xây dựng nó là . Việc đánh giá nó ở "giá trị tham số thực" nghĩa là gì và sau đó tìm ra ý nghĩa của nó? Và trong ví dụ hình học, nếu tôi sử dụng danh tính tôi sẽ không nhận được ngay ? "giá trị tham số thực" phải làm gì với điều này? $\pi$ $E(u(\pi)) = 0$ $E(y) = E(\bar{y}) = \frac{1-\pi}{\pi}$ $E(u(\pi)) = 0$

likelihood geometric-distribution fisher-scoring

— ihadanny
nguồn

Một số bài viết có liên quan: stats.stackexchange.com/questions/112451/ thống kê.stackexchange.com

— questions/196576

Câu trả lời:

Như bạn đã chỉ ra hàm điểm , trong các điều kiện đều đặn phù hợp, được định nghĩa là "đạo hàm đầu tiên của hàm khả năng ghi nhật ký". $u$

Giả sử là biến ngẫu nhiên có hàm mật độ . Thông thường mật độ này thay đổi tùy thuộc vào một vectơ tham số . Do đó, thuận tiện để điều chỉnh hàm mật độ là để làm cho nó rõ ràng sự phụ thuộc vào tham số. Chúng tôi sẽ giả sử rằng giá trị "thực" của cho biến ngẫu nhiên là . (ý tôi là ) $X$ $f(x)$ $\pi$ $f(x;\pi)$ $\pi$ $X$ $\pi = \pi_0$ $X \sim f(\;\cdot\;;\pi_0)$

Hàm số điểm bây giờ có thể được viết là: và giờ đây rõ ràng đó là một hàm của cả và của . (Trong câu hỏi của bạn, bạn có thay cho , nhưng không có sự khác biệt vì hàm khả năng chỉ là hàm mật độ.)

u (π; x) = \frac{\partial}{\partial π} \log f (x; π),

$u(\pi;x) = \frac{\partial}{\partial\pi}\log f(x;\pi),$

x

$x$

π

$\pi$

L

$L$

f

$f$

Bây giờ hãy xem xét biến ngẫu nhiên và kỳ vọng của nó . Ở đây, điều quan trọng cần lưu ý là chỉ số ở đó để chỉ ra tham số (đúng) trong phân phối và phân biệt nó với giá trị mà chúng ta đang tính . $u(\pi,X)$ $\xi(\pi) = \mathbb{E_{\pi_0}}(u(\pi,X))$ $\pi_0$ $X$ $\pi$ $u$

Giả sử là mật độ liên tục (trường hợp rời rạc tương tự) chúng ta có: $f$

ξ (π) = \int_{- \infty}^{+ \infty} (\frac{\partial}{\partial π} \log f (x; π)) f (x; π_{0}) d x = \int_{- \infty}^{+ \infty} \frac{f^{'} (x; π)}{f (x; π)} f (x; π_{0}) d x

$\xi(\pi) = \int_{-\infty}^{+\infty}\left(\frac{\partial}{\partial\pi}\log f(x;\pi)\right)f(x;\pi_0)dx = \int_{-\infty}^{+\infty}\frac{f'(x;\pi)}{f(x;\pi)}f(x;\pi_0)dx$

và khi bạn đánh giá ở giá trị tham số thực chúng tôi sẽ nhận được: $\xi$ $\pi_0$

ξ (π_{0}) = \int_{- \infty}^{+ \infty} \frac{f^{'} (x; π_{0})}{f (x; π_{0})} f (x; π_{0}) d x = \int_{- \infty}^{+ \infty} f^{'} (x; π_{0}) d x

$\xi(\pi_0) = \int_{-\infty}^{+\infty}\frac{f'(x;\pi_0)}{f(x;\pi_0)}f(x;\pi_0)dx = \int_{-\infty}^{+\infty}f'(x;\pi_0)dx$

= \frac{\partial}{\partial π} \int_{- \infty}^{+ \infty} f (x; π_{0}) d x = 0

$=\frac{\partial}{\partial\pi}\int_{-\infty}^{+\infty}f(x;\pi_0)dx = 0$

Đó là lý do đằng sau hàm điểm có kỳ vọng bằng 0 ở tham số thực.

Bạn nên xem những cuốn sách như thế này (chương 3) để hiểu rõ hơn về các điều kiện theo đó các đạo hàm đó (như sự hoán đổi của đạo hàm và tích phân) đúng.

— Mur1lo
nguồn

Cảm ơn! nhưng tôi vẫn không hoàn toàn chắc chắn tôi thấy tại sao nó sẽ là 0 nếu tôi cắm vào một giá trị khác ? chúng ta sẽ không thể sử dụng cùng một thủ thuật chuyển đổi giữa wrt tích phân và wrt phái sinh chứ?

π_{1}

$\pi_1$

x

$x$

π

$\pi$

— ihadanny

ξ (π_{1}) = \int \frac{f^{'} (x; π_{1})}{f (x; π_{1})} f (x; π_{0}) d x

$\xi(\pi_1)=\int\frac{f'(x;\pi_1)}{f(x;\pi_1)}f(x;\pi_0)dx$ và bây giờ chúng tôi không thể hủy mẫu số nếu .

π_{1} \neq π_{0}

$\pi_1\neq\pi_0$

— Mur1lo

một câu hỏi khác - trong câu trả lời của bạn, ý bạn là hàm điểm cho một lần quan sát hay hàm điểm cho toàn bộ mẫu của các quan sát n?

— ihadanny

@ihadanny Không có gì khác biệt vì bạn có thể xem mẫu của mình dưới dạng một nhận thức duy nhất của một biến ngẫu nhiên trong .

R^{n}

$\mathbb{R}^n$

— Mur1lo

Đây là bằng chứng rõ ràng nhất mà tôi đã thấy về vấn đề này. Cảm ơn bạn! :)

— jjepsuomi

Ok, nhờ câu trả lời tuyệt vời @ Mur1lo, giờ đây tôi đã hiểu rõ hơn và muốn tự mình thực hiện khái niệm trừu tượng này một cách cụ thể nhất có thể.

Giả sử chúng ta có một mẫu kết quả rút 5 đồng xu. Chúng tôi giả định rằng chúng được lấy mẫu từ một quần thể có phân phối Bernoulli với tham số thực . $\pi_0$

Khi chúng tôi xem xét một lần rút tiền cụ thể với kết quả , chúng tôi có thể tính toán khả năng đăng nhập mà bệnh nhân này đã được lấy mẫu từ phân phối Bernoulli với tất cả các loại giá trị tham số, ví dụ hoặc , v.v. vì vậy, khả năng đăng nhập là một hàm ước tính khả năng cho mỗi giá trị có thể của . $x_3=1$ $\pi = 0.2$ $\pi=0.9$ $x_3$ $\pi$

L L (π | x_{3}) = x_{3} l n (π) + (1 - x_{3}) l n (1 - π)

$LL(\pi|x_3) = x_3ln(\pi) + (1-x_3)ln(1-\pi)$

Điều đó chỉ có nghĩa là nếu thì khả năng đó là và nếu đó là 0 thì khả năng đó là . $x_3=1$ $\pi$ $1-\pi$

Nếu chúng ta giả định tính độc lập giữa các lần rút tiền, thì chúng ta có hàm 'trung bình' đại diện cho khả năng đăng nhập của toàn bộ mẫu n = 5 lần rút tiền.

L L (π | X) = \sum x_{i} l n (π) + (n - \sum (x_{i})) l n (1 - π)

$LL(\pi|X) = \sum{x_i}ln(\pi) + (n-\sum(x_i))ln(1-\pi)$

Chúng tôi muốn tìm tối đa - mle = . $LL(\pi|X)$ $\pi_{mle}$

Hàm điểm là một vectơ của các đạo hàm ghi từng tham số của khả năng đăng nhập. May mắn thay trong trường hợp của chúng tôi, đó là một vô hướng đơn giản vì chỉ có một tham số. Trong một số điều kiện, nó sẽ giúp chúng tôi tìm thấy , vì tại thời điểm đó, hàm số điểm sẽ là . Chúng ta có thể tính hàm số điểm quan sát cho một lần quan sát (rút tiền xu): $u(\pi)$ $\pi_{mle}$ $u(\pi_{mle}) = 0$

u (π | x_{3}) = \frac{x_{3}}{π} - \frac{1 - x_{3}}{1 - π}

$u(\pi|x_3) = \frac{x_3}{\pi} - \frac{1-x_3}{1-\pi}$

và chức năng điểm mẫu của n = 5 bệnh nhân:

u (π | X) = \frac{\sum x_{i}}{π} - \frac{n - \sum x_{i}}{1 - π}

$u(\pi|X) = \frac{\sum{x_i}}{\pi} - \frac{n-\sum{x_i}}{1-\pi}$

khi chúng ta đặt hàm mới nhất này thành 0, chúng ta sẽ nhận được . $\pi_{mle}$

NHƯNG, mẫu 5 trận hòa cụ thể không liên quan gì đến kỳ vọng của chức năng tính điểm! Kỳ vọng là giá trị của hàm số điểm quan sát cho mọi giá trị có thể có của x, nhân với xác suất của giá trị đó, là hàm mật độ! Trong trường hợp của chúng tôi, x chỉ có thể nhận 2 giá trị: 0 và 1. Và hàm mật độ như chúng tôi giả định là Bernoulli với tham số : $\pi_0$

E (u (π | x_{i})) = \sum_{x} (\frac{x}{π} - \frac{1 - x}{1 - π}) π_{0}^{x} (1 - π_{0})^{1 - x} = \frac{π_{0}}{π} - \frac{1 - π_{0}}{1 - π}

$E(u(\pi|x_i)) = \sum_x (\frac{x}{\pi} - \frac{1-x}{1-\pi}) \pi_0^x(1-\pi_0)^{1-x} = \frac{\pi_0}{\pi} - \frac{1-\pi_0}{1-\pi}$

và rõ ràng là nó biến mất khi được đánh giá ở tham số thực . Giải thích trực quan là: Đối với mỗi giá trị của , tỷ lệ thay đổi trung bình trong khả năng là bao nhiêu? $\pi_0$ $\pi$

Các ma trận thông tin là sai về khả năng - làm thế nào nhạy cảm giải pháp của chúng tôi sẽ là dữ liệu khác nhau? (xem câu trả lời này ).

I (π | x_{i}) = v a r (u (π | x_{i})) = v a r (\frac{x_{i}}{π} - \frac{1 - x_{i}}{1 - π}) = v a r (\frac{x_{i} - π}{π (1 - π)}) = \frac{v a r (x_{i})}{π^{2} (1 - π)^{2}} = \frac{π_{0} (1 - π_{0})}{π^{2} (1 - π)^{2}}

$I(\pi|x_i) = var(u(\pi|x_i)) = var(\frac{x_i}{\pi} - \frac{1-x_i}{1-\pi}) = var(\frac{x_i-\pi}{\pi(1-\pi)}) = \frac{var(x_i)}{\pi^2(1-\pi)^2} = \frac{\pi_0(1-\pi_0)}{\pi^2(1-\pi)^2}$

và khi được đánh giá ở tham số thực nó đơn giản hóa thành: $\pi_0$

I (π_{0} | x_{i}) = \frac{1}{π_{0} (1 - π_{0})}

$I(\pi_0|x_i) = \frac{1}{\pi_0(1-\pi_0)}$

(xem ghi chú washington edu để biết thêm chi tiết).

Thật đáng ngạc nhiên, có một cách khác để đo mức độ nhạy cảm của khả năng trong một số nhất định ! đó là kỳ vọng của độ cong = Hessian = đạo hàm thứ hai. Khả năng của chúng ta càng dốc, chúng ta sẽ càng chính xác. Xem chi tiết trong blog của mark reid $\pi$

— ihadanny
nguồn