Sự khác biệt giữa một công cụ ước tính nhất quán và công cụ ước tính không thiên vị là gì?

125

Tôi thực sự ngạc nhiên khi dường như không ai hỏi điều này cả ...

Khi thảo luận về các công cụ ước tính, hai thuật ngữ thường được sử dụng là "nhất quán" và "không thiên vị". Câu hỏi của tôi rất đơn giản: sự khác biệt là gì?

Các định nghĩa kỹ thuật chính xác của các thuật ngữ này khá phức tạp và thật khó để có được cảm giác trực quan về ý nghĩa của chúng . Tôi có thể tưởng tượng một công cụ ước tính tốt và một công cụ ước tính tồi, nhưng tôi gặp khó khăn khi xem bất kỳ công cụ ước tính nào có thể thỏa mãn một điều kiện chứ không phải điều kiện khác.

unbiased-estimator estimators consistency

— Toán học
nguồn

Bạn đã xem con số đầu tiên trong bài viết Wikipedia về các công cụ ước tính nhất quán , giải thích cụ thể về sự khác biệt này chưa?

— whuber

Tôi đã đọc các bài báo cho cả tính nhất quán và thiên vị, nhưng tôi vẫn không thực sự hiểu sự khác biệt. (Con số mà bạn đề cập đến tuyên bố rằng công cụ ước tính là nhất quán nhưng sai lệch, nhưng không giải thích được tại sao .)

— Toán

Phần nào của lời giải thích mà bạn cần giúp đỡ? Chú thích chỉ ra rằng mỗi công cụ ước tính trong chuỗi bị sai lệch và nó cũng giải thích tại sao trình tự này phù hợp. Bạn có cần một lời giải thích về sự sai lệch trong các công cụ ước tính này rõ ràng như thế nào trong hình không?

— whuber

+1 Chủ đề bình luận theo một trong những câu trả lời này rất rõ ràng, cả về những gì nó tiết lộ về vấn đề này và là một ví dụ thú vị về cách một cộng đồng trực tuyến có thể hoạt động để phơi bày và khắc phục những quan niệm sai lầm.

— whuber

Liên quan: stats.stackexchange.com/questions/173152/ từ

— kjetil b halvorsen

Câu trả lời:

126

Để xác định hai thuật ngữ mà không sử dụng quá nhiều ngôn ngữ kỹ thuật:

Công cụ ước tính phù hợp nếu, khi kích thước mẫu tăng, các ước tính (do công cụ ước tính tạo ra) "hội tụ" với giá trị thực của tham số được ước tính. Nói chính xác hơn một chút - tính nhất quán có nghĩa là, khi kích thước mẫu tăng, phân phối lấy mẫu của công cụ ước tính ngày càng tập trung ở giá trị tham số thực.
Một công cụ ước tính là không thiên vị nếu, trung bình, nó đạt giá trị tham số thực. Nghĩa là, giá trị trung bình của phân phối lấy mẫu của công cụ ước tính bằng với giá trị tham số thực.
Hai không tương đương: Không thiên vị là một tuyên bố về giá trị dự kiến của phân phối mẫu của công cụ ước tính. Tính nhất quán là một tuyên bố về "nơi phân phối lấy mẫu của công cụ ước tính sẽ diễn ra" khi kích thước mẫu tăng.

Chắc chắn có thể một điều kiện được thỏa mãn nhưng không phải điều kiện kia - tôi sẽ đưa ra hai ví dụ. Đối với cả hai ví dụ, hãy xem xét một mẫu từ dân số . $X_1, ..., X_n$ $N(\mu, \sigma^2)$

Không thiên vị nhưng không nhất quán: Giả sử bạn đang ước tính . Thì là một công cụ ước tính không thiên vị của vì . Nhưng, không nhất quán vì phân phối của nó không trở nên tập trung hơn xung quanh khi kích thước mẫu tăng - luôn luôn là ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
Nhất quán nhưng không thiên vị: Giả sử bạn đang ước tính . Công cụ ước tính khả năng tối đa là trong đó là giá trị trung bình mẫu. Có một thực tế là đây, có thể được lấy từ thông tin ở đây . Do đó bị sai lệch cho mọi kích thước mẫu hữu hạn. Chúng ta cũng có thể dễ dàng rút ra rằng Từ những sự kiện này, chúng ta có thể thấy một cách không chính thức rằng phân phối $\sigma^2$
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ $v a r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (n - 1)}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ ngày càng trở nên tập trung hơn tại khi kích thước mẫu tăng do giá trị trung bình hội tụ đến và phương sai được hội tụ về . ( Lưu ý: Điều này không phải là bằng chứng về tính nhất quán, sử dụng cùng một đối số như đối số được sử dụng trong câu trả lời ở đây ) $\sigma^2$ $\sigma^2$ $0$

— Vĩ mô
nguồn

(+1) Mặc dù không phải tất cả các MLE đều nhất quán: kết quả chung là tồn tại một chuỗi con nhất quán trong chuỗi các MLE. Để có sự thống nhất thích hợp, một vài yêu cầu bổ sung, ví dụ như nhận dạng, là cần thiết. Ví dụ về các MLE không nhất quán được tìm thấy trong các mô hình biến-lỗi nhất định (trong đó "tối đa" hóa ra là điểm yên ngựa).

— MånsT

Chà, EIV MLE mà tôi đã đề cập có lẽ không phải là ví dụ hay, vì hàm khả năng không bị ràng buộc và không tồn tại tối đa. Chúng là những ví dụ điển hình về cách tiếp cận ML có thể thất bại :) Tôi xin lỗi vì tôi không thể đưa ra một liên kết có liên quan ngay bây giờ - Tôi đang đi nghỉ.

— MånsT

Cảm ơn bạn @ MånsT. Các điều kiện cần thiết đã được nêu ra trong liên kết nhưng điều đó không rõ ràng từ ngữ.

— Macro

Chỉ là một lưu ý phụ: Không gian tham số chắc chắn không nhỏ gọn trong trường hợp này, trái ngược với các điều kiện tại liên kết đó, cũng không phải là khả năng đăng nhập lõm wrt . Các kết quả nhất quán đã nêu vẫn giữ, tất nhiên.

σ^{2}

$\sigma^2$

— Đức hồng y

Bạn nói đúng, @cardinal, tôi sẽ xóa tham chiếu đó. Nó đủ rõ ràng để và nhưng tôi không muốn đi lạc khỏi chỉ bằng cách biến điều này thành một bài tập chứng minh tính nhất quán của .

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

— Macro

Tính nhất quán của công cụ ước tính có nghĩa là khi kích thước mẫu càng lớn, ước tính càng ngày càng gần với giá trị thực của tham số. Không thiên vị là một thuộc tính mẫu hữu hạn không bị ảnh hưởng bởi việc tăng kích thước mẫu. Một ước tính là không thiên vị nếu giá trị dự kiến của nó bằng giá trị tham số thực. Điều này sẽ đúng với tất cả các cỡ mẫu và chính xác trong khi tính nhất quán là không có triệu chứng và chỉ xấp xỉ bằng nhau và không chính xác.

Để nói rằng một công cụ ước tính không thiên vị có nghĩa là nếu bạn lấy nhiều mẫu có kích thước và tính toán ước tính mỗi lần trung bình của tất cả các ước tính này sẽ gần với giá trị tham số thực và sẽ tiến gần hơn khi số lần bạn thực hiện điều này tăng . Giá trị trung bình mẫu là cả nhất quán và không thiên vị. Ước tính mẫu của độ lệch chuẩn là sai lệch nhưng nhất quán. $n$

Cập nhật sau cuộc thảo luận trong các nhận xét với @cardinal và @Macro: Như được mô tả bên dưới, rõ ràng có các trường hợp bệnh lý trong đó phương sai không phải là 0 để công cụ ước tính nhất quán và độ lệch thậm chí không phải đi đến 0 hoặc.

— Michael Chernick
nguồn

@MichaelCécick +1 cho câu trả lời của bạn, nhưng liên quan đến nhận xét của bạn, phương sai của một công cụ ước tính nhất quán không nhất thiết phải về . Ví dụ: nếu là một mẫu từ , , thì là một công cụ ước tính nhất quán (mạnh) của , nhưng , với mọi .

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

@Procrastinator: (+2) Độ lệch không cần co lại bằng 0, ngay cả khi giá trị trung bình tồn tại cho mỗi

n

$n$

— hồng y

Michael, cơ thể của câu trả lời của bạn là khá tốt; Tôi nghĩ rằng sự nhầm lẫn đã được đưa ra bởi bình luận đầu tiên của bạn, dẫn đến hai tuyên bố hoàn toàn sai và điểm tiềm ẩn của sự nhầm lẫn. (Thật vậy, nhiều sinh viên rời khỏi lớp thống kê tốt nghiệp giới thiệu với chính xác những quan niệm sai lầm này do sự phân định kém giữa các phương thức hội tụ khác nhau và ý nghĩa của chúng. Nhận xét cuối cùng của bạn có thể được đưa ra một chút về mặt khắc nghiệt.)

— Hồng y

Thật không may, hai câu đầu tiên trong bình luận đầu tiên của bạn và toàn bộ bình luận thứ hai là sai. Nhưng, tôi sợ rằng sẽ không có kết quả khi cố gắng thuyết phục bạn về những sự thật này.

— Đức hồng y

Đây là một ví dụ vô lý thừa nhận, nhưng đơn giản . Ý tưởng là để minh họa chính xác những gì có thể đi sai và tại sao. Nó không có ứng dụng thực tế. Ví dụ : Xem xét mô hình iid điển hình với khoảnh khắc thứ hai hữu hạn. Đặt trong đó độc lập với và mỗi cái có xác suất và bằng không, với tùy ý. Sau đó không thiên vị, có phương sai giới hạn bên dưới bởi và

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$ gần như chắc chắn (nó rất phù hợp). Tôi rời đi như một bài tập về trường hợp thiên vị.

— Đức hồng y

-5

Tính nhất quán: được giải thích rất rõ trước khi [khi kích thước mẫu tăng, các ước tính (được tạo bởi công cụ ước tính) "hội tụ" với giá trị thực của tham số được ước tính]

Không thiên vị: Nó thỏa mãn các giả định 1-5 MLR được gọi là Định lý Gauss-Markov

tuyến tính,
lấy mẫu ngẫu nhiên
không có lỗi trung bình có điều kiện
không có cộng tác hoàn hảo
tính đồng nhất

Sau đó, công cụ ước tính được gọi là BLUE (công cụ ước tính không thiên vị tuyến tính tốt nhất

— Nikolina Langura
nguồn