MLE của bất thường không bình thường khi ?

Giả sử có pdf $(X,Y)$

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

Mật độ của mẫu được rút ra từ quần thể này là do $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$

\begin{aligned} g_{θ} (x, y) & = \prod_{i = 1}^{n} f_{θ} (x_{i}, y_{i}) \\ = \exp [- \sum_{i = 1}^{n} (\frac{x_{i}}{θ} + θ y_{i})] 1_{x_{1}, \dots, x_{n}, y_{1}, \dots, y_{n} > 0} \\ = \exp [- \frac{n \bar{x}}{θ} - θ n \bar{y}] 1_{x_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

Công cụ ước tính khả năng tối đa của có thể được suy ra là $\theta$

\hat{θ} (X, Y) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

Tôi muốn biết liệu phân phối giới hạn của MLE này là bình thường hay không.

Rõ ràng là một thống kê đủ cho dựa trên mẫu là . $\theta$ $(\overline X,\overline Y)$

Bây giờ tôi đã có thể nói rằng MLE là bình thường không có triệu chứng nếu nó là một thành viên của gia đình hàm mũ một tham số thông thường. Tôi không nghĩ đó là trường hợp, một phần vì chúng tôi có thống kê đủ hai chiều cho tham số một chiều ( ví dụ như trong phân phối ). $N(\theta,\theta^2)$

Sử dụng thực tế là và trên thực tế là các biến số mũ độc lập, tôi có thể chỉ ra rằng phân phối chính xác của là như vậy $X$ $Y$ $\hat\theta$

\frac{\hat{θ}}{θ} \overset{d}{=} \sqrt{F}, where F \sim F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

Tôi không thể tiến hành tìm phân phối giới hạn từ đây.

Thay vào đó, tôi có thể lập luận bởi WLLN rằng và , sao cho . $\overline X\stackrel{P}\longrightarrow\theta$ $\overline Y\stackrel{P}\longrightarrow 1/\theta$ $\hat\theta\stackrel{P}\longrightarrow\theta$

Điều này cho tôi biết rằng hội tụ trong phân phối cho . Nhưng điều này không gây ngạc nhiên, vì là một công cụ ước tính 'tốt' của . Và kết quả này không đủ mạnh để kết luận liệu một cái gì đó như có bất thường không bình thường hay không. Tôi cũng không thể đưa ra một lập luận hợp lý bằng CLT. $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$

Vì vậy, một câu hỏi vẫn là liệu phân phối chính ở đây có thỏa mãn các điều kiện đều đặn để phân phối giới hạn của MLE là bình thường hay không.

— Bướng bỉnh
nguồn

Theo kinh nghiệm có vẻ như nó rất gần với bình thường. Bạn có thể thấy dễ dàng hơn khi đặt thành (đây chỉ là một hệ số tỷ lệ) và sau đó xem xét việc phân phối căn bậc hai của tỷ lệ phương tiện mẫu của các biến ngẫu nhiên theo hàm mũ iid có bình thường không. Sử dụng phương pháp delta, điều này tương ứng với phân phối tỷ lệ phương tiện mẫu của iid các biến ngẫu nhiên theo hàm mũ là bình thường không có triệu chứng. Và điều đó tương ứng với sự phân bố tỷ lệ của hai biến ngẫu nhiên gamma iid bình thường không có triệu chứng khi tham số hình dạng tăng.

θ

$\theta$

1

$1$

— Henry

Tính bình thường tiệm cận của MLE không liên quan gì đến các gia đình hàm mũ. Theo trực giác, để giữ bình thường tiệm cận, bạn chỉ cần đảm bảo rằng không có khả năng giải pháp sẽ ở gần ranh giới của không gian tham số.

— whuber

@whuber Theo như tôi biết, pdf là thành viên của gia đình hàm mũ kinh điển hầu như luôn có MLE bình thường không có triệu chứng (không phải là do họ exp). Đó là kết nối tôi đã cố gắng chỉ ra.

— StubbornAtom

Phải: nhưng kết nối là một cách. Các kết quả tiệm cận cho MLE rất chung chung và do đó tôi đã cố gắng đề xuất rằng nhìn theo hướng chung đó, thay vì tập trung vào các thuộc tính của các gia đình mũ, có thể là một cuộc điều tra hiệu quả hơn.

— whuber

Một bằng chứng trực tiếp cho tính bình thường tiệm cận:

Khả năng đăng nhập ở đây là

L = - \frac{n \bar{x}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

Các dẫn xuất thứ nhất và thứ hai là

\frac{\partial L}{\partial θ} = \frac{n \bar{x}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{x}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

MLE thỏa mãn $\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

Áp dụng mở rộng giá trị trung bình xung quanh giá trị thực chúng tôi có $\theta_0$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

đối với một số ở giữa và . Sắp xếp lại chúng ta có, $\tilde \theta_n$ $\hat \theta_n$ $\theta_0$

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

Nhưng trong trường hợp tham số đơn của chúng ta, nghịch đảo chỉ là đối ứng, do đó, cũng chèn các biểu thức cụ thể của các đạo hàm,

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{x}} (\frac{n \bar{x}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \sqrt{n} \cdot (\bar{x} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \cdot (n^{- 1 / 2} \sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

Phương sai của tổng là

Var (\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

Thao tác với biểu thức chúng ta có thể viết, sử dụng cho tổng các phần tử iid, $S_n$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

Hơn nữa, chúng ta có , vì vậy . Vì vậy, chúng tôi có chủ đề của CLT cổ điển và người ta có thể xác minh rằng điều kiện Lindeberg được thỏa mãn. Nó theo đó $E(x_i-\theta_0^2 y_i) = 0$ $E(S_n)=0$

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{d} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

Do tính nhất quán của công cụ ước tính, chúng tôi cũng có

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

và theo định lý của Slutsky, chúng ta đến

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{d} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

Đẹp. Nhân đôi thông tin, một nửa phương sai (so với trường hợp chúng tôi ước tính dựa trên một mẫu từ một biến ngẫu nhiên duy nhất). $\theta_0$

PS: Thực tế là trong các biểu thức trên xuất hiện trong mẫu số, chỉ ra nhận xét của @ whuber rằng tính bình thường tiệm cận của MLE cần tham số không xác định nằm ngoài ranh giới của không gian tham số (trong trường hợp của chúng tôi, cách xa 0). $\theta_0$

— Alecos Papadopoulos
nguồn

Xin lỗi vì hồi âm muộn. Tất cả thời gian này tôi đã suy nghĩ liệu đây có phải là một gia đình hàm mũ cong hay không và vì vậy MLE có thể cư xử khác đi.

— StubbornAtom

@StubbornAtom Tính bình thường tiệm cận chắc chắn bị mất khi tham số theo ước tính nằm trên ranh giới của tham số (một kết quả khá trực quan nếu bạn nghĩ về nó).

— Alecos Papadopoulos