Có một ví dụ trong đó MLE đưa ra ước tính sai lệch về giá trị trung bình không?

Bạn có thể cung cấp một ví dụ về công cụ ước tính MLE về giá trị trung bình bị sai lệch không?

Tôi không tìm kiếm một ví dụ phá vỡ các công cụ ước tính MLE nói chung bằng cách vi phạm các điều kiện thường xuyên.

Tất cả các ví dụ tôi có thể thấy trên internet đều đề cập đến phương sai và dường như tôi không thể tìm thấy bất cứ điều gì liên quan đến giá trị trung bình.

BIÊN TẬP

@MichaelHardy đã cung cấp một ví dụ trong đó chúng tôi có được ước tính sai lệch về giá trị trung bình của phân phối đồng đều bằng MLE theo một mô hình được đề xuất nhất định.

Tuy nhiên

https://en.wikipedia.org/wiki/Uniform_distribution_(continupt)#Estimation_of_midpoint

gợi ý rằng MLE là một ước lượng không thiên vị tối thiểu thống nhất của giá trị trung bình, rõ ràng theo một mô hình đề xuất khác.

Tại thời điểm này, tôi vẫn chưa rõ lắm về ước tính của MLE nếu nó là mô hình rất giả thuyết phụ thuộc trái ngược với việc ước tính trung bình mẫu là trung tính mô hình. Cuối cùng, tôi quan tâm đến việc ước tính một cái gì đó về dân số và không thực sự quan tâm đến việc ước tính một tham số của một mô hình giả thuyết.

CHỈNH SỬA 2

Như @ChristophHanck đã chỉ ra mô hình với thông tin bổ sung giới thiệu sai lệch nhưng không quản lý để giảm MSE.

Chúng tôi cũng có kết quả bổ sung:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (slide 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (slide 5)

"Nếu một công cụ ước lượng không thiên vị hiệu quả nhất ˆθ của tồn tại (nghĩa là không thiên vị và phương sai của nó bằng CRLB) thì phương pháp ước tính khả năng tối đa sẽ tạo ra nó."

"Hơn nữa, nếu một công cụ ước tính hiệu quả tồn tại, đó là công cụ ước tính ML."

Vì MLE với các tham số mô hình miễn phí là không thiên vị và hiệu quả, theo định nghĩa này có phải là "Công cụ ước tính khả năng tối đa không?

CHỈNH SỬA 3

@AlecosPapadopoulos có một ví dụ với phân phối Half Normal trên diễn đàn toán học.

/math/799954/can-the-maximum-likabilities-estimator-be-unbiased-and-fail-to-achieve-cramer-rao

Nó không neo bất kỳ tham số nào của nó như trong trường hợp thống nhất. Tôi sẽ nói rằng giải quyết nó, mặc dù ông đã không chứng minh sự thiên vị của công cụ ước tính trung bình.

Christoph Hanck đã không đăng chi tiết về ví dụ đề xuất của mình. Tôi hiểu rằng anh ta có nghĩa là phân phối đồng đều trong khoảng dựa trên mẫu iid có kích thước lớn hơnX 1 , Vượt , X n n = $[0,\theta],$$X_1,\ldots,X_n$$n=1.$

Giá trị trung bình là .$\theta/2$

MLE của giá trị trung bình là$\max\{X_1,\ldots,X_n\}/2.$

Đó là sai lệch vì vì vậyE ( tối đa / 2 ) < θ /$\Pr(\max < \theta) = 1,$$\operatorname{E}({\max}/2)<\theta/2.$

PS: Có lẽ chúng ta nên lưu ý rằng các ước lượng không thiên vị tốt nhất của giá trị trung bình là không giá trị trung bình mẫu, mà đúng hơn làGiá trị trung bình của mẫu là công cụ ước tính tệ hại của vì đối với một số mẫu, giá trị trung bình mẫu nhỏ hơn và rõ ràng là không thể đối với nhỏ hơncuối PSn + $\theta/2$θ/2

$$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$$ $\theta/2$θ/2max/$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$$\theta/2$${\max}/2.$

---

Tôi nghi ngờ phân phối Pareto là một trường hợp như vậy. Đây là thước đo xác suất: Giá trị mong đợi làMLE của giá trị mong đợi là trong đó

$$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$$ $\dfrac \alpha {\alpha -1 } \kappa.$phút=phút{X1,...,Xn} $$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$$ $\min = \min\{X_1,\ldots,X_n\}.$

Tôi đã không tìm ra giá trị mong đợi của MLE cho trung bình, vì vậy tôi không biết xu hướng của nó là gì.

Đây là một ví dụ mà tôi nghĩ rằng một số có thể tìm thấy đáng ngạc nhiên:

Trong hồi quy logistic, đối với bất kỳ cỡ mẫu hữu hạn nào có kết quả không xác định (nghĩa là ), bất kỳ hệ số hồi quy ước tính nào không chỉ bị sai lệch, giá trị trung bình của hệ số hồi quy thực sự không được xác định.$0 < p_{i} < 1$

Điều này là do đối với bất kỳ cỡ mẫu hữu hạn nào, có một xác suất dương (mặc dù rất nhỏ nếu số lượng mẫu lớn so với số lượng tham số hồi quy) để có được kết quả phân tách hoàn hảo. Khi điều này xảy ra, các hệ số hồi quy ước tính sẽ là hoặc . Có xác suất dương là hoặc ngụ ý giá trị mong đợi là không xác định.∞ - ∞ $-\infty$$\infty$$-\infty$$\infty$

Để biết thêm về vấn đề cụ thể này, xem hiệu ứng Hauck-Donner .

Mặc dù @MichaelHardy đã đưa ra quan điểm, đây là một lập luận chi tiết hơn về lý do tại sao MLE của mức tối đa (và do đó, có nghĩa là , bởi tính bất biến) không phải là không thiên vị, mặc dù nó thuộc một mô hình khác (xem chỉnh sửa bên dưới).$\theta/2$

$U[0,\theta]$$y_{(n)}$$y$$y_{(n)}$ fy(n)(x)={

$$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$$ E [ Y ( n ) $$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$$ $$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$$

EDIT: Thực sự là trường hợp (xem phần thảo luận trong các bình luận) MLE không thiên vị cho giá trị trung bình trong trường hợp cả hai giới hạn dưới và giới hạn đều không xác định. Khi đó, tối thiểu là MLE cho , với (chi tiết bị bỏ qua) giá trị mong đợi trong khi sao cho MLE cho là với giá trị mong đợi b Y ( 1 ) a E ( Y ( 1 ) ) = n a + $a$$b$$Y_{(1)}$$a$

$$E(Y_{(1)})=\frac{na+b}{n+1}$$ $$E(Y_{(n)})=\frac{nb+a}{n+1}$$ $(a+b)/2$ $$\frac{Y_{(1)}+Y_{(n)}}{2}$$ $$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$$

EDIT 2: Để giải thích về quan điểm của Henry, đây là một mô phỏng nhỏ cho MSE của các công cụ ước tính của giá trị trung bình, cho thấy rằng trong khi MLE nếu chúng ta không biết giới hạn dưới là 0 thì không thiên vị, các MSE cho hai biến thể là giống hệt nhau , gợi ý rằng công cụ ước tính kết hợp kiến ​​thức về giới hạn dưới làm giảm tính biến thiên.

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

Hoàn thành ở đây thiếu sót trong câu trả lời của tôi tại math.se được tham chiếu bởi OP,

$n$

$$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$$

Khả năng đăng nhập của mẫu là

$$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$$

$v$

$$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$$

vì vậy nó là một phương pháp ước lượng khoảnh khắc. Nó không thiên vị kể từ,

$$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$$

Nhưng , công cụ ước tính kết quả cho giá trị trung bình bị sai lệch do bất bình đẳng của Jensen

$$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$$

Vấn đề nổi tiếng của Neyman Scott có một MLE không nhất quán ở chỗ nó thậm chí không bao giờ hội tụ đúng. Thúc đẩy việc sử dụng khả năng có điều kiện.

$(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$$\mu_i$$(X_i + Y_i)/2$$\sigma^2$$\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$$s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$$\sigma^2/4$

Có vô số ví dụ cho hiện tượng này kể từ khi

1. $\Psi(\theta)$$\theta$$\theta$$\Psi(\hat{\theta}_\text{MLE})$
2. $\theta$$\Psi(\hat{\theta}_\text{MLE})$$\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$$\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$;
3. most transforms $\Psi(\theta)$ are expectations of some transform of the data, $\mathfrak{h}(X)$, at least for exponential families, provided an inverse Laplace transform can be applied to them.