Là lỗi bình phương trung bình được sử dụng để đánh giá tính ưu việt tương đối của một công cụ ước tính so với công cụ ước tính khác?

13

Giả sử chúng ta có hai công cụ ước tính và cho một số tham số . Để xác định công cụ ước tính nào "tốt hơn" chúng ta có nhìn vào MSE (có nghĩa là lỗi bình phương) không? Nói cách khác, chúng tôi xem xét trong đó là sai lệch của công cụ ước tính và là phương sai của công cụ ước tính? Bất cứ điều gì có MSE lớn hơn là một ước tính tồi tệ hơn? $\alpha_1$ $\alpha_2$ $x$

M S E = β^{2} + σ^{2}

$MSE = \beta^2+ \sigma^2$

β

$\beta$

σ^{2}

$\sigma^2$

estimation mse

— Damien
nguồn

10

Nếu bạn có hai công cụ ước tính cạnh tranh và $\hat \theta_1$ $\hat \theta_2$ , hay không

M S E ({\hat{θ}}_{1}) < M S E ({\hat{θ}}_{2})

${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$ nói với bạn rằng

là ước lượng tốt hơn phụ thuộc hoàn toàn vào bạn định nghĩa "tốt nhất". Ví dụ, nếu bạn đang so sánh ước lượng không thiên vị và bởi "tốt" có nghĩa là bạn có sai thấp hơn thì, vâng, điều này sẽ có nghĩa là

là tốt hơn.

{\hat{θ}}_{1}

$\hat \theta_1$

{\hat{θ}}_{1}

$\hat \theta_1$

M S E

$\rm MSE$ là một tiêu chí phổ biến vì mối liên hệ của nó với Least Squares và khả năng đăng nhập Gaussian, nhưng, giống như nhiều tiêu chí thống kê, người ta nên thận trọng khi sử dụng

M S E

$\rm MSE$ một cách mù quáng như một thước đo chất lượng của công cụ ước tính mà không chú ý đến ứng dụng.

Có một số tình huống trong đó việc chọn một công cụ ước tính để giảm thiểu ${\rm MSE}$ có thể không phải là điều đặc biệt hợp lý để làm. Hai kịch bản xuất hiện trong tâm trí:

Nếu có các ngoại lệ rất lớn trong một tập dữ liệu thì chúng có thể ảnh hưởng mạnh đến MSE và do đó, công cụ ước tính giảm thiểu MSE có thể bị ảnh hưởng mạnh mẽ bởi các ngoại lệ đó. Trong những tình huống như vậy, việc một người ước tính giảm thiểu MSE không thực sự cho bạn biết nhiều vì nếu bạn loại bỏ (các) ngoại lệ, bạn có thể có được ước tính cực kỳ khác nhau. Theo nghĩa đó, MSE không "mạnh" đối với các ngoại lệ. Trong bối cảnh hồi quy, thực tế này là điều thúc đẩy Huber M-Ước tính (mà tôi thảo luận trong câu trả lời này), giúp giảm thiểu chức năng tiêu chí khác nhau (đó là sự pha trộn giữa lỗi bình phương và lỗi tuyệt đối) khi có lỗi kéo dài .
Nếu bạn đang ước tính một tham số giới hạn, việc so sánh có thể không phù hợp vì nó bị phạt hơn và đánh giá thấp khác nhau trong trường hợp đó. Ví dụ: giả sử bạn đang ước tính phương sai, . Sau đó, nếu bạn có ý thức đánh giá thấp số lượng của bạn có thể tối đa là , trong khi đánh giá quá cao có thể tạo ra rằng vượt xa , có lẽ ngay cả bởi một số lượng không giới hạn. $\rm MSE$ $\sigma^2$ $\rm MSE$ $\sigma^4$ $\rm MSE$ $\sigma^4$

Để làm cho những nhược điểm này rõ ràng hơn, tôi sẽ đưa ra một ví dụ cụ thể về thời điểm, vì những vấn đề này, có thể không phải là thước đo thích hợp cho chất lượng của công cụ ước tính. $\rm MSE$

Giả sử bạn có mẫu từ phân phối với độ tự do và chúng tôi đang cố gắng ước tính phương sai, đó là . Hãy xem xét hai ước lượng cạnh $X_1, ..., X_n$ $t$ $\nu>2$ $\nu/(\nu-2)$ và Rõ ràng

{\hat{θ}}_{1} : t h e bạn n b Tôi một S e d S một m p tôi e v một r Tôi một n c e

$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$

{\hat{θ}}_{2} = = 0, r e g một r d tôi e S S o f t h e d một t một

$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$

và nó là một thực tế là

M S E ({\hat{θ}}_{2}) = \frac{ν^{2}}{(ν - 2)^{2}}

$\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$

có thể được bắt nguồn bằng cách sử dụngthực tế được thảo luận trong chủ đề nàyvàcác thuộc tính của phân phối

. Do đó, công cụ ước tính ngây thơ vượt trội hơn về mặtbất kể kích thước mẫu bất cứ khi nào, điều này khá khó hiểu. Nó cũng vượt trội hơn khi

M S E ({\hat{θ}}_{1}) = = {\begin{cases} \infty & nếu ν \leq 4 \\ \frac{ν^{2}}{(ν - 2)^{2}} (\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) & nếu ν > 4 . \end{cases}

${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$

t

$t$ $\rm MSE$ $\nu < 4$

nhưng điều này chỉ phù hợp với các cỡ mẫu rất nhỏ. Ở trên xảy ra do tính chất dài đuôi của

phân phối với mức độ nhỏ của tự do, mà làm cho

xu hướng giá trị rất lớn và

phạt nặng nề cho các đánh giá quá cao, trong khi

không có vấn đề này.

(\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) > 1

$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$

t

$t$

{\hat{θ}}_{2}

$\hat \theta_{2}$

M S E

$\rm MSE$

{\hat{θ}}_{1}

$\hat \theta_1$

$\rm MSE$ $\rm MSE$ $\hat \theta$

S (\hat{θ}) = = \frac{\hat{θ}}{ν / (ν - 2)} - 1 - đăng nhập (\frac{\hat{θ}}{ν / (ν - 2)})

$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$

$S(\hat \theta_1)=\infty$

— Vĩ mô
nguồn

(+1) Thảo luận tốt đẹp. Để công bằng, có lẽ nên chỉ ra rằng các đối số tương tự cũng có thể được đưa ra và chống lại các tiêu chí khác (các hàm mất mát khác).

— MånsT

2

Thông thường, người ta đánh giá các công cụ ước tính bằng cách xem xét các hàm rủi ro của chúng , biểu đồ tổn thất dự kiến so với các tham số. Ở đây, bằng cách sửa các tham số, bạn có thể đã tạo ra một phân tích sai lệch. Rốt cuộc, luôn luôn là trường hợp một công cụ ước tính ngu ngốc (không đổi, không biết dữ liệu) có thể tạo ra tổn thất dự kiến rất thấp: chỉ cần đặt nó bằng với tham số chính xác! Điều này khiến tôi tự hỏi những gì mô phỏng đã thực sự hiển thị ở đây.

— whuber

@whuber, tôi đã sửa đổi câu trả lời này để đưa ra ví dụ phân tích, điều này có thể làm cho nó rõ ràng hơn. Tôi cũng đã cung cấp một chức năng mất thay thế có thể phù hợp hơn.

— Macro

ν

$\nu$

2

$L(\alpha_i) = (\alpha_i - \alpha)^2$

— JMS
nguồn

2

$f(x) = x^2$

$f(x) = |x|$

MSE có lẽ là một lựa chọn tốt nếu các thuật ngữ lỗi thường được phân phối. Nếu chúng có đuôi béo hơn, nên lựa chọn mạnh mẽ hơn như giá trị tuyệt đối.

— aprokopiw
nguồn

0

Trong trường hợp suy luận thống kê của Case & Berger, phiên bản 2 nói rằng MSE bị phạt như nhau vì đánh giá quá cao và đánh giá thấp, điều này cũng ổn trong trường hợp địa điểm. Tuy nhiên, trong trường hợp tỷ lệ, 0 là giới hạn dưới tự nhiên, do đó, bài toán ước lượng không đối xứng. Sử dụng MSE trong trường hợp này có xu hướng tha thứ cho sự đánh giá thấp.

Bạn có thể muốn kiểm tra công cụ ước tính nào thỏa mãn các thuộc tính UMVUE, có nghĩa là sử dụng ràng buộc Cramer-Rao Lower. Trang 341.

— Tu.2
nguồn