Tại sao MLE có ý nghĩa, với xác suất của một mẫu riêng lẻ là 0?

Đây là một suy nghĩ kỳ quặc mà tôi có trong khi xem xét một số thống kê cũ và vì một số lý do tôi dường như không thể nghĩ ra câu trả lời.

Một tệp PDF liên tục cho chúng ta biết mật độ quan sát các giá trị trong bất kỳ phạm vi nào. Cụ thể, nếu $X \sim N(\mu,\sigma^2)$ , ví dụ, sau đó xác suất mà một thực hiện rơi giữa $a$ và $b$ chỉ đơn giản là $\int_a^{b}\phi(x)dx$ nơi $\phi$ là mật độ của các tiêu chuẩn bình thường.

Khi chúng ta nghĩ về việc ước tính MLE của một tham số, nói về $\mu$ , chúng tôi viết mật độ chung của, nói $N$ , biến ngẫu nhiên $X_1 .. X_N$ và phân biệt các wrt loga để $\mu$ , thiết lập bằng 0 và giải quyết cho $\mu$ . Việc giải thích thường được đưa ra là "đưa ra dữ liệu, tham số nào làm cho hàm mật độ này hợp lý nhất".

Phần làm tôi khó chịu là đây: chúng tôi có mật độ $N$ rv và xác suất chúng tôi nhận được một nhận thức cụ thể, ví dụ như mẫu của chúng tôi, chính xác là 0. Tại sao nó lại có ý nghĩa tối đa hóa mật độ khớp cho dữ liệu của chúng tôi ( vì một lần nữa xác suất quan sát mẫu thực tế của chúng tôi là chính xác 0)?

Sự hợp lý hóa duy nhất tôi có thể đưa ra là chúng tôi muốn làm cho PDF được đạt đỉnh nhất có thể xung quanh mẫu được quan sát của chúng tôi để tích phân trong khu vực (và do đó xác suất quan sát các thứ trong khu vực này) là cao nhất.

Xác suất của bất kỳ mẫu, $\mathbb{P}_\theta(X=x)$ , là bằng không và chưa một mẫu được thực hiện bằng cách vẽ từ một phân bố xác suất. Do đó xác suất là công cụ sai để đánh giá một mẫu và khả năng nó xảy ra. Khả năng thống kê, theo quy định của Fisher (1912), được dựa trên lập luận giới hạn của khả năng quan sát các mẫu $x$ trong một khoảng thời gian dài $\delta$ khi $\delta$ đi đến zero (trích dẫn từ Aldrich, 1997) :

$\qquad\qquad\qquad$

khi tái chuẩn hóa xác suất này bằng $\delta$ . Thuật ngữ của chức năng khả năng chỉ được giới thiệu trong Fisher (1921) và khả năng tối đa trong Fisher (1922).

Mặc dù ông đã sử dụng mệnh giá "giá trị có thể xảy ra nhất" và sử dụng nguyên tắc xác suất nghịch đảo (suy luận Bayes) với một căn hộ trước đó, Carl Friedrich Gauß đã đưa ra một ước lượng khả năng tối đa cho tham số phương sai của phân phối chuẩn. Hald (1999) đề cập đến một số lần xuất hiện khác của các công cụ ước tính khả năng tối đa trước bài báo năm 1912 của Fisher, trong đó đặt ra nguyên tắc chung.

Một sự biện minh sau này của phương pháp khả năng tối đa là, vì khả năng đăng nhập được tái chuẩn hóa của một mẫu $(x_1,\ldots,x_n)$

$$\frac{1}{n} \sum_{i=1}^n \log f_\theta(x_i)$$ hội tụ tới [Luật số lớn] $$\mathbb{E}[\log f_\theta(X)]=\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ (trong đó$f_0$ biểu thị mật độ thực của mẫu iid), tối đa hóa khả năng [như một hàm của$\theta$ ] tương đương với việc giảm thiểu [trong$\theta$ ] phân kỳ Kullback-Leibler $$\int \log \dfrac{f_0(x)}{f_\theta(x)}\, f_0(x)\,\text{d}x=\underbrace{\int \log f_0(x)\,f_0(x)\,\text{d}x}_{\text{constant}\\\text{in }\theta}-\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ giữa sự phân bố thực sự của mẫu iid và gia đình của các bản phân phối đại diện bởi$f_\theta$ 's.