Ước tính khả năng tối đa

Làm cách nào tôi có thể xây dựng khoảng tin cậy tiệm cận cho một tham số thực, bắt đầu từ MLE cho tham số đó?

— Fabrizio
nguồn

Một cách để tiếp cận vấn đề này là sử dụng phương pháp delta: en.wikipedia.org/wiki/Delta_method

Tôi nhận thấy có phiếu để đóng câu hỏi này là quá rộng, nhưng có là một định lý tổng quát về hành vi tiệm cận của MLEs có thể được trình bày một cách ngắn gọn. Tôi đưa ra một câu trả lời ngắn gọn rằng tôi sẽ mở rộng một chút sau đó.

— Scortchi - Phục hồi Monica

Sử dụng thực tế là đối với một mẫu iid có kích thước , với một số điều kiện đều đặn, MLE là một công cụ ước tính nhất quán của tham số thực , và phân phối của nó không có triệu chứng Bình thường, với phương sai được xác định bởi đối ứng của Thông tin của ngư dân: $n$ $\hat{\theta}$ $\theta_0$

\sqrt{n} (\hat{θ} - θ_{0}) \to N (0, \frac{1}{I_{1} (θ_{0})})

$\sqrt{n}\left(\hat{\theta}-\theta_0\right) \rightarrow \mathcal{N}\left(0,\frac{1}{\mathcal{I}_1(\theta_0)}\right)$ trong đó là thông tin Fisher từ một mẫu duy nhất. Thông tin được quan sát tại MLE có xu hướng thông tin dự kiến không có triệu chứng, do đó bạn có thể tính toán (khoảng 95%) khoảng tin cậy với

I_{1} (θ_{0})

$\mathcal{I}_1(\theta_0)$

I (\hat{θ})

$I(\hat{\theta})$

\hat{θ} \pm \frac{1.96}{\sqrt{n I_{1} (\hat{θ})}}

$\hat{\theta} \pm \frac{1.96}{\sqrt{nI_1\left(\hat\theta\right)}}$

Ví dụ: nếu là biến thiên Poisson rút ngắn bằng 0, bạn có thể nhận được một công thức cho thông tin được quan sát theo MLE (mà bạn phải tính toán bằng số): $X$

f (x) = \frac{e^{- θ} θ^{x}}{x! (1 - e^{- θ})}

$\newcommand{\e}{\mathrm{e}}\newcommand{\d}{\operatorname{d}}f(x) = \frac{\e^{-\theta}\theta^x}{x!(1-e^{-\theta})}$

ℓ (θ) = - θ + x \log θ - \log (1 - e^{- θ})

$\ell(\theta)=-\theta+ x\log\theta -\log(1-\e^{-\theta})$

\frac{d ℓ (θ)}{d θ} = - 1 + \frac{x}{θ} - \frac{e^{- θ}}{1 - e^{- θ}}

$\frac{\d\ell(\theta)}{\d\theta} = -1 +\frac{x}{\theta} - \frac{\e^{-\theta}}{1-\e^{-\theta}}$

I_{1} (\hat{θ}) = - \frac{d^{2} ℓ (\hat{θ})}{{(d \hat{θ})}^{2}} = \frac{x}{\hat{θ}} - \frac{e^{- \hat{θ}}}{{(1 - e^{- \hat{θ}})}^{2}}

$I_1\left(\hat{\theta}\right)=-\frac{\d^2\ell\left(\hat\theta\right)}{\left(\d\hat\theta\right)^2} = \frac{x}{\hat\theta} - \frac{\e^{-\hat\theta}}{\left(1-\e^{-\hat{\theta}}\right)^2}$

Các trường hợp đáng chú ý được loại trừ bởi các điều kiện thường xuyên bao gồm những trường hợp

tham số xác định sự hỗ trợ của dữ liệu, ví dụ: lấy mẫu từ phân phối đồng đều giữa naught và $\theta$ $\theta$
số lượng thông số phiền toái tăng theo cỡ mẫu

— Scortchi - Tái lập Monica
nguồn

Phương pháp này có áp dụng không thay đổi khi có các ràng buộc trên , ví dụ không? Điều gì về một MLE cho tham số , sao cho và ?

θ

$\theta$

θ \in [0, 1]

$\theta \in [0, 1]$

N

$N$

θ_{i}

$\theta_i$

i = 0, . . ., N - 1

$i=0,...,N-1$

\sum_{i = 0}^{N - 1} θ_{i} = 1

$\sum_{i=0}^{N-1} \theta_i = 1$

θ_{i} \in [0, 1]

$\theta_i \in [0,1]$

— quant_dev

Nếu , tức là giá trị thực không bằng một trong các giới hạn.

θ \in (0, 1)

$\theta \in (0, 1)$

— Scortchi - Tái lập Monica

Nếu và, điều đó có nghĩa là xấp xỉ bình thường không được áp dụng và tôi cần nhiều mẫu hơn?

θ \in (0, 1)

$\theta \in (0,1)$

σ (\hat{θ}) > | \hat{θ} |

$\sigma(\hat{\theta}) > |\hat{\theta}|$

— quant_dev

Vâng, đó chỉ là một khoảng tin cậy tiệm cận.

— Scortchi - Phục hồi Monica

@quant_dev: Không: bạn sẽ tìm kiếm một phép biến đổi (các) tham số đã làm cho xấp xỉ Bình thường trở nên tốt - hoặc sử dụng phương pháp khác.

— Scortchi - Phục hồi Monica

Ước tính khả năng tối đa - khoảng tin cậy