Điều gì có nghĩa là lỗi tiêu chuẩn của ước tính khả năng tối đa?

Tôi là một nhà toán học tự học thống kê và đấu tranh đặc biệt là với ngôn ngữ.

Trong cuốn sách tôi đang sử dụng, có một vấn đề sau:

Một biến ngẫu nhiên được đưa ra dưới dạng phân phối với . (Tất nhiên, bạn có thể thực hiện bất kỳ phân phối nào tùy thuộc vào một tham số vì câu hỏi này.) Sau đó, một mẫu gồm năm giá trị , , , , được đưa ra. $X$ $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

Phần đầu tiên: "Sử dụng phương pháp khả năng tối đa, tìm ước tính của dựa trên [mẫu]." Đây không phải là vấn đề. Câu trả lời là . $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

Nhưng sau đó: "Đưa ra ước tính cho lỗi tiêu chuẩn của ." $\hat{\alpha}$

Nghĩa là gì đây? Vì chỉ là một số thực cố định, tôi không thấy nó có thể có lỗi tiêu chuẩn như thế nào. Tôi có xác định độ lệch chuẩn của không? $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

Nếu bạn nghĩ rằng câu hỏi không rõ ràng, thông tin này cũng sẽ giúp tôi.

maximum-likelihood

— Stefan
nguồn

Có gì là viết tắt của?

60

$60$

— Alecos Papadopoulos

Bạn có công thức cho không? Điều đó sẽ giúp bạn ước tính lỗi tiêu chuẩn của nó.

\hat{α}

$\hat \alpha$

— soakley

@Glen_b Nhưng nếu đó là giới hạn thấp hơn thì làm sao có thể tất cả các giá trị của mẫu nhận ra đều nhỏ hơn?

— Alecos Papadopoulos

@Alecos Đó là một điểm tuyệt vời. Nhận xét của tôi không có ý nghĩa; Tôi đã xóa nó.

— Glen_b -Reinstate Monica

@Alecos:

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$ là sự phân bố với mật độ

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— Stefan

Câu trả lời:

Câu trả lời khác đã bao hàm nguồn gốc của lỗi tiêu chuẩn, tôi chỉ muốn giúp bạn với ký hiệu:

Sự nhầm lẫn của bạn là do trong Thống kê, chúng tôi sử dụng chính xác cùng một ký hiệu để biểu thị Công cụ ước tính (là hàm) và ước tính cụ thể (là giá trị mà công cụ ước tính nhận được khi nhận làm mẫu nhận biết cụ thể).

Vì vậy, và cho $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ . Vì vậy, là hàm số của biến ngẫu nhiên và do đó, một biến ngẫu nhiên chính nó, mà chắc chắn có sai. $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

Trong ước lượng ML, trong nhiều trường hợp, những gì chúng ta có thể tính toán là lỗi tiêu chuẩn tiệm cận , bởi vì phân phối mẫu hữu hạn của công cụ ước tính không được biết (không thể rút ra được).

Nói đúng không có một phân phối tiệm cận, vì nó hội tụ tới một số thực (số đúng trong hầu hết các trường hợp dự toán ML). Nhưng số lượng $\hat \alpha$ hội tụ đến một biến ngẫu nhiên bình thường (bằng cách áp dụng các giới hạn trung tâm lý). $\sqrt n (\hat \alpha - \alpha)$

Một điểm thứ hai của sự nhầm lẫn ký hiệu : hầu hết, nếu không nói là tất cả các văn bản, sẽ viết ( "Avar" = tiệm cận sai ") trong khi những gì họ có nghĩa là $\text {Avar}(\hat \alpha)$ , tức là họ đề cập đến phương sai tiệm cận số lượng $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ , chứ không phải của ... Đối với trường hợp của một phân phối Pareto cơ bản chúng tôi có $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

và do đó

Avar (\hat{α}) = = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

(nhưng những gì bạn sẽ tìm thấy được viết là ) $\text {Avar}(\hat \alpha ) = \alpha^2$

Bây giờ, trong những gì cảm nhận được Công cụ Ước tính có một "sai tiệm cận", vì như đã nói, tiệm khi hội tụ tới một hằng số? Vâng, trong một ý nghĩa gần đúng và cho các mẫu lớn nhưng hữu hạn . Tức là ở đâu đó giữa một mẫu "nhỏ", trong đó Công cụ ước tính là một biến ngẫu nhiên có phân phối (thường) không xác định và mẫu "vô hạn", trong đó công cụ ước tính là một hằng số, có "lãnh thổ mẫu lớn nhưng hữu hạn" này Công cụ Ước tính vẫn chưa trở thành một hằng số và nơi phân phối và phương sai của nó có nguồn gốc một cách bùng binh, bởi đầu tiên sử dụng giới hạn trung tâm lý để lấy được phân phối đúng cách tiệm cận số lượng $\hat \alpha$ (đó là bình thường do sự CLT), sau đó chuyển những thứ xung quanh và viết $Z = \sqrt n (\hat \alpha - \alpha)$ (trong khi thực hiện một bước trở lại và xử lýnhư hữu hạn) mà chương trìnhnhư một chức năng affine của biến ngẫu nhiên bình thường, và vì vậy thường được phân phối riêng của mình (luôn xấp xỉ). $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

— Alecos Papadopoulos
nguồn

1 để phân biệt giữa

và

\hat{α}

$\hat{\alpha}$

- chắc chắn các ký hiệu có thể không phù hợp.

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

— Giáo hoàng Nate

- một khả năng ước lượng tối đa - là một chức năng của một mẫu ngẫu nhiên, và do đó cũng là ngẫu nhiên (không cố định). Ước tính sai số chuẩn của có thể thu được từ các thông tin Fisher, $\hat{\alpha}$ $\hat{\alpha}$

tôi (θ) = = - E [\frac{\partial^{2} L (θ | Y = = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

Nơi là một tham số và là hàm loga hợp lý có điều kiện trên mẫu ngẫu nhiên . Bằng trực giác, thông tin Fisher chỉ ra độ dốc của độ cong của bề mặt loga quanh MLE, và vì vậy lượng 'thông tin' rằng sẽ cung cấp khoảng . $\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ $\theta$

Đối với phân phối với một nhận thức duy nhất , khả năng đăng nhập trong đó được biết: $\mathrm{Pareto}(\alpha,y_0)$ $Y = y$ $y_0$

Cắm vào định nghĩa của thông tin Fisher,

\begin{aligned} L (α | y, y_{0}) & = = đăng nhập α + α đăng nhập y_{0} - (α + 1) đăng nhập y \\ L^{'} (α | y, y_{0}) & = = \frac{1}{α} + đăng nhập y_{0} - đăng nhập y \\ L^{"} (α | y, y_{0}) & = = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$

Cho một mẫu

Khả năng ước lượng tối đa

là tiệm phân phối

tôi (α) = = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$

\hat{α}

$\hat{\alpha}$

Trong đó

là cỡ mẫu. Vì

là không rõ, chúng ta có thể cắm vào

để có được một ước tính sai số chuẩn:

\begin{aligned} \hat{α} \overset{n \to \infty}{~} N (α, \frac{1}{n tôi (α)}) = = N (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$

n

$n$

α

$\alpha$

\hat{α}

$\hat{\alpha}$

S E (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4,6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— Giáo hoàng Nate
nguồn

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$

n \to \infty

$n \to \infty$

n

$n$

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$