Đối với những mô hình nào thì độ lệch của MLE giảm nhanh hơn phương sai?

Đặt là ước tính khả năng tối đa của một tham số thực của một số mô hình. Khi số điểm dữ liệu tăng lên, lỗi thường giảm khi . Sử dụng bất đẳng thức tam giác và tính chất của kỳ vọng, có thể chỉ ra rằng tỷ lệ lỗi này ngụ ý rằng cả "thiên vị" và "độ lệch" giảm ở cùng $\hat\theta$ $\theta^*$ $n$ $\lVert\hat\theta-\theta^*\rVert$ $O(1/\sqrt n)$ $\lVert \mathbb E\hat\theta - \theta^*\rVert$ $\lVert \mathbb E\hat\theta - \hat\theta\rVert$ $O(1/\sqrt{n})$ tỷ lệ. Tất nhiên, các mô hình có thể có độ lệch co lại với tốc độ nhanh hơn. Nhiều mô hình (như hồi quy bình phương nhỏ nhất bình phương) không có sai lệch.

Tôi quan tâm đến các mô hình có độ lệch co lại nhanh hơn , nhưng trong đó lỗi không co lại ở tốc độ nhanh hơn này vì độ lệch vẫn co lại là . Cụ thể, tôi muốn biết các điều kiện đủ để độ lệch của mô hình thu nhỏ lại ở tốc độ . $O(1/\sqrt n)$ $O(1/\sqrt n)$ $O(1/n)$

— Mike Izbicki
nguồn

Có phải ? Hoặc là?

∥θ^−θ∗∥=(θ^−θ∗)2 $\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$

— Alecos Papadopoulos

Tôi đã đặc biệt hỏi về định mức L2, vâng. Nhưng tôi cũng quan tâm đến các tiêu chuẩn khác nếu nó làm cho câu hỏi dễ trả lời hơn.

— Mike Izbicki

(θ^−θ∗)2 $(\hat \theta -\theta^*)^2$ là .

Op(1/n) $O_p(1/n)$

— Alecos Papadopoulos

Xin lỗi, tôi đọc sai nhận xét của bạn. Đối với định mức L2 theo kích thước , và do đó, hội tụ theo tỷ lệ . Tôi đồng ý rằng nếu chúng ta bình phương nó thì nó sẽ hội tụ thành .

d $d$

∥a−b∥=∑di=1(ai−bi)2−−−−−−−−−−−−√ $\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$

O(1/n−−√) $O(1/\sqrt n)$

O(1/n) $O(1/n)$

— Mike Izbicki

Bạn đã thấy giấy hồi quy sườn (Hoerl & Kennard 1970) chưa? Tôi tin rằng nó đưa ra các điều kiện về ma trận thiết kế + hình phạt trong đó điều này được dự kiến là đúng.

— dcl

Câu trả lời:

Nói chung, bạn cần các mô hình trong đó MLE không bình thường về mặt triệu chứng nhưng hội tụ đến một số phân phối khác (và nó làm như vậy với tốc độ nhanh hơn). Điều này thường xảy ra khi tham số theo ước tính nằm ở ranh giới của không gian tham số. Theo trực giác, điều này có nghĩa là MLE sẽ tiếp cận tham số "chỉ từ một phía", do đó, nó "cải thiện tốc độ hội tụ" vì nó không bị "phân tâm" bằng cách "quay lại" xung quanh tham số.

Một ví dụ tiêu chuẩn, là MLE cho trong mẫu iid của đồng phục rv của MLE ở đây là thống kê đơn hàng tối đa, $\theta$ $U(0,\theta)$

θ^n = u (n)

$\hat \theta_n = u_{(n)}$

Phân phối mẫu hữu hạn của nó là

F θ^n = ( θ ^ n ) n θ n, f θ^= n ( θ ^ n ) n - 1 θ n

$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$

E (θ^n) = n n + 1 θ ⟹ B (θ^) = - 1 n + 1 θ

$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$

Vì vậy, $B(\hat \theta_n) = O(1/n)$ . Nhưng tỷ lệ tăng tương tự cũng sẽ giữ cho phương sai.

Người ta cũng có thể xác minh rằng để có được một bản phân phối hạn chế, chúng ta cần phải nhìn vào các biến , (tức là chúng ta cần phải quy mô của ) kể từ $n(\theta - \hat \theta_n)$ $n$

P [n (θ - θ^n) \leq z] = 1 - P [θ^n \leq θ - (z / n)]

$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$

= 1 - 1 θ n \cdot (θ + - z n) n = 1 - θ n θ n \cdot (1 + - z / θ n) n

$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$

\to 1 - e - z / θ

$\to 1- e^{-z/\theta}$

which is the CDF of the Exponential distribution.

I hope this provides some direction.

— Alecos Papadopoulos
nguồn

Điều này đang đến gần, nhưng tôi đặc biệt quan tâm đến các tình huống mà độ lệch co lại nhanh hơn phương sai.

— Mike Izbicki

@MikeIzbicki Hmm ... sự hội tụ thiên vị phụ thuộc vào thời điểm phân phối đầu tiên và phương sai (căn bậc hai của) cũng là một cường độ "bậc nhất". Tôi không chắc chắn điều đó có thể xảy ra hay không, bởi vì dường như nó sẽ ám chỉ rằng những khoảnh khắc phân phối giới hạn "phát sinh" với tốc độ hội tụ không tương thích với nhau ... Mặc dù vậy tôi sẽ nghĩ về nó.

— Alecos Papadopoulos

Following comments in my other answer (and looking again at the title of the OP's question!), here is an not very rigorous theoretical exploration of the issue.

We want to determine whether Bias $B(\hat \theta_n) = E(\hat \theta_n) - \theta$ may have different convergence rate than the square root of the Variance,

B (θ^n) = O (1 / n δ), Var (θ^n) - - - - - - - \sqrt = O (1 / n γ), γ \neq δ ? ? ?

$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$

We have

B (θ^n) = O (1 / n δ) ⟹ lim n δ E (θ^n) < K ⟹ lim n 2 δ [E (θ^n)] 2 < K'

$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$

⟹ [E (θ^n)] 2 = O (1 / n 2 δ) (1)

$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$

while

Var (θ^n) - - - - - - - \sqrt = O (1 / n γ) ⟹ lim n γ E (θ^2 n) - [E (θ^n)] 2 - - - - - - - - - - - - - \sqrt < M

$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim n 2 γ E (θ^2 n) - n 2 γ [E (θ^n)] 2 - - - - - - - - - - - - - - - - - - \sqrt < M

$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim n 2 γ E (θ^2 n) - lim n 2 γ [E (θ^n)] 2 < M' (2)

$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$

We see that $(2)$ may hold happen if

A) both components are $O(1/n^{2\gamma})$ , in which case we can only have $\gamma = \delta$ .

B) But it may also hold if

lim n 2 γ [E (θ^n)] 2 \to 0 ⟹ [E (θ^n)] 2 = o (1 / n 2 γ) (3)

$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$

For $(3)$ to be compatible with $(1)$ , we must have

n 2 γ < n 2 δ ⟹ δ > γ (4)

$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$

So it appears that in principle it is possible to have the Bias converging at a faster rate than the square root of the variance. But we cannot have the square root of the variance converging at a faster rate than the Bias.

— Alecos Papadopoulos
nguồn

How would you reconcile this with the existence of unbiased estimators like ordinary least squares? In that case,

$B(\hat\theta)=0$ , but

$\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$ .

— Mike Izbicki

@MikeIzbicki Is the concept of convergence/big-O applicable in this case? Because here

$B(\hat \theta)$ is not "

$O()$ -anything" to begin with.

— Alecos Papadopoulos

In this case,

$\mathbb E\hat\theta=\theta^*$ , so

$B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$ .

— Mike Izbicki

@MikeIzbicki But also

$B(\hat \theta) = O(n)$ or

$B(\hat \theta) =O(1/\sqrt{n})$ or any other you care to write down. So which one is the rate of convergence here?

— Alecos Papadopoulos

@MikeIzbicki I have corrected my answer to show that it is possible in principle to have the Bias converging faster, although I still think the "zero-bias" example is problematic.

— Alecos Papadopoulos