Tại sao không thiên vị không bao hàm sự nhất quán

Tôi đang đọc bài học sâu của Ian Goodfellow et al. Nó giới thiệu thiên vị vì trong đó và là tham số ước tính và tham số thực bên dưới.

B Tôi một S (θ) = = E (\hat{θ}) - θ

$Bias(\theta)=E(\hat\theta)-\theta$

\hat{θ}

$\hat\theta$

θ

$\theta$

Mặt khác, tính nhất quán được xác định bởi có nghĩa là với mọi , là

{tôi Tôi m}_{m \to \infty} {\hat{θ}}_{m} = = θ

$\mathrm{lim}_{m\to\infty}\hat\theta_m=\theta$

ϵ > 0

$\epsilon > 0$

P (| {\hat{θ}}_{m} - θ | > ϵ) \to 0

$P(|\hat\theta_m-\theta|>\epsilon)\to0$

m \to \infty

$m\to\infty$

Sau đó, nó nói sự nhất quán ngụ ý không thiên vị nhưng không phải ngược lại:

Tính nhất quán đảm bảo rằng độ lệch gây ra bởi công cụ ước tính giảm dần khi số lượng ví dụ dữ liệu tăng lên. Tuy nhiên, điều ngược lại không phải là sự không thiên vị của tiệm cận không có nghĩa là sự nhất quán. Ví dụ, hãy xem xét ước tính tham số trung bình của phân phối chuẩn N (x;, σ2), với một tập dữ liệu bao gồm m mẫu: . Chúng tôi có thể sử dụng mẫu đầu tiên của bộ dữ liệu làm công cụ ước tính không thiên vị: . Trong trường hợp đó, vì vậy công cụ ước tính không thiên vị cho dù có bao nhiêu điểm dữ liệu được nhìn thấy. Tất nhiên, điều này ngụ ý rằng ước tính này không thiên vị. Tuy nhiên, đây không phải là một công cụ ước tính nhất quán vì nó không phải là trường hợp như ${x^{(1)}, . . . , x^{(m)}}$ $x^{(1)}$ $\hatθ = x^{(1)}$ $E(\hat θ_m) = θ$ $\hatθ_m → θ$ $m → ∞$

Tôi không chắc liệu tôi đã hiểu đoạn văn trên và các khái niệm không thiên vị và nhất quán hay chưa, tôi hy vọng ai đó có thể giúp tôi kiểm tra nó. Cảm ơn trước.

Theo như tôi hiểu, tính nhất quán bao hàm cả tính không thiên vị và phương sai thấp và do đó, tính không thiên vị không đủ để hàm ý tính nhất quán.

— Có lẽ
nguồn

Nếu bias = 0 và phương sai-> 0, thì nó nhất quán. Và nếu độ lệch-> 0 và phương sai-> 0, thì nhất quán; đây là "không có triệu chứng không thiên vị". Cả hai đều xuất phát từ thực tế là lỗi bình phương dự kiến = sai lệch ^ 2 + phương sai.

— user54038

Nó không nói rằng tính nhất quán ngụ ý không thiên vị, vì điều đó sẽ là sai. Ví dụ: công cụ ước tính là công cụ ước tính nhất quán cho trung bình mẫu, nhưng nó không thiên vị. Đoạn trích ở trên nói rằng tính nhất quán làm giảm số lượng sai lệch gây ra bởi một công cụ ước tính sai lệch!. Trong trường hợp trung bình mẫu, sự khác biệt giữa và trở nên không đáng kể khi tăng

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

N

$N$

N - 1

$N-1$

N

$N$

— Yannis Vassiliadis

Bạn có chắc chắn nó không thiên vị? Tôi tin rằng nó không thiên vị: 1 / n lần tổng sẽ bị sai lệch.

— eSurfsnake

@eSurfsnake đó là phương sai mẫu. Đối với mẫu có nghĩa là tôi đã đề cập ở trên, vừa không thiên vị vừa nhất quán, trong khi chỉ nhất quán.

\frac{1}{N} \sum_{i} x_{i}

$\frac{1}{N} \sum_i x_i$

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

— Yannis Vassiliadis

OK - Tôi đã nghĩ rằng bạn đang hỏi về phương sai.

— eSurfsnake

Câu trả lời:

Trong đoạn đó, các tác giả đang đưa ra một ví dụ cực đoan để cho thấy việc không thiên vị không có nghĩa là một biến ngẫu nhiên đang hội tụ vào bất cứ điều gì.

Các tác giả đang lấy một mẫu ngẫu nhiên và muốn ước tính . Lưu ý rằng , chúng tôi có thể tạo ra một công cụ ước tính không thiên vị của chỉ bằng cách bỏ qua tất cả dữ liệu của chúng tôi ngoại trừ điểm đầu tiên . Nhưng đó rõ ràng là một ý tưởng tồi tệ, vì vậy không thiên vị một mình không phải là một tiêu chí tốt để đánh giá một người ước tính. Bằng cách nào đó, khi chúng tôi nhận được nhiều dữ liệu hơn, chúng tôi muốn công cụ ước tính của chúng tôi thay đổi ít hơn so với , và đó chính xác là những gì mà tính nhất quán nói: đối với mọi khoảng cách , xác suất nhiều hơn so với $X_1,\dots, X_n \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $E(X_1) = \mu$ $\mu$ $X_1$ $\mu$ $\varepsilon$ $\hat \theta_n$ $\varepsilon$ $\theta$ hướng đến là . Và điều này có thể xảy ra ngay cả khi đối với bất kỳ hữu hạn nào bị sai lệch. Một ví dụ về điều này là công cụ ước tính phương sai trong một mẫu bình thường. Điều này là thiên vị nhưng nhất quán. $0$ $n \to \infty$ $n$ $\hat \theta$ $\hat \sigma^2_n = \frac 1n \sum_{i=1}^n(y_i - \bar y_n)^2$

Theo trực giác, một thống kê là không thiên vị nếu nó chính xác bằng số lượng mục tiêu khi tính trung bình trên tất cả các mẫu có thể. Nhưng chúng ta biết rằng trung bình của một loạt các thứ không phải là bất cứ nơi nào gần những thứ được tính trung bình; đây chỉ là phiên bản dễ hiểu hơn về cách trung bình của và là , mặc dù cả và đều không đặc biệt gần bằng (tùy thuộc vào cách bạn đo "đóng"). $0$ $1$ $1/2$ $0$ $1$ $1/2$

Đây là một ví dụ khác (mặc dù đây gần như chỉ là ví dụ tương tự trong ngụy trang). Đặt và để . Công cụ ước tính của chúng tôi về sẽ là . Lưu ý rằng vì vậy chúng tôi thực sự có một công cụ ước tính không thiên vị. Nhưng nên công cụ ước tính này chắc chắn không hội tụ ở bất cứ thứ gì gần với và với mọi chúng ta thực sự vẫn có . $X_1 \sim \text{Bern}(\theta)$ $X_2 = X_3 = \dots = X_1$ $\theta$ $\hat \theta(X) = \bar X_n$ $E \bar X_n = p$ $\bar X_n = X_1 \in \{0,1\}$ $\theta \in (0,1)$ $n$ $\bar X_n \sim \text{Bern}(\theta)$

— jld
nguồn

Converse cũng sai. Một công cụ ước tính có thể có độ lệch và phương sai mà cả hai đều về 0 khi n tiến đến vô cùng làm cho nó nhất quán. Nhưng với mọi n, nó sẽ bị sai lệch bởi vì nó sẽ có độ lệch khác không, ví dụ ước tính phương sai với n trong mẫu số là sai lệch và nhất quán trong khi nếu bạn chia cho n-1 thì nó sẽ không thiên vị và nhất quán.

— Michael R. Chernick

Theo như tôi hiểu, tính nhất quán bao hàm cả tính không thiên vị và phương sai thấp và do đó, tính không thiên vị không đủ để hàm ý tính nhất quán.

Đúng. Hoặc sử dụng các thuật ngữ "chính xác" hơn một chút cho độ lệch thấp và "độ chính xác" cho phương sai thấp, tính nhất quán đòi hỏi chúng ta phải chính xác và chính xác. Chỉ cần chính xác không có nghĩa là chúng tôi đạt được mục tiêu. Nó giống như trò đùa cũ về hai nhà thống kê đi săn. Một người bỏ lỡ một con nai mười feet bên trái. Một người khác bỏ lỡ mười feet bên phải. Sau đó, họ chúc mừng nhau trên cơ sở rằng, trung bình, họ đã đánh con nai. Mặc dù sự thiên vị của chúng bằng không, để thực sự đánh con nai, chúng cũng cần phương sai thấp.

— Tích lũy
nguồn