Một ví dụ về một ước lượng phù hợp và thiên vị?

Thực sự bối rối về điều này. Tôi thực sự muốn một ví dụ hoặc tình huống trong đó một công cụ ước tính B sẽ phù hợp và thiên vị.

Ví dụ đơn giản nhất tôi có thể nghĩ đến là phương sai mẫu xuất phát trực giác với hầu hết chúng ta, cụ thể là tổng độ lệch bình phương chia cho thay vì :$n$$n-1$

$$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$$

Thật dễ dàng để chỉ ra rằng và do đó, công cụ ước tính bị sai lệch. Nhưng giả sử phương sai hữu hạn , hãy quan sát rằng độ lệch về 0 là vì$E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$$\sigma^2$$n \to \infty$

$$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$$

Cũng có thể chỉ ra rằng phương sai của công cụ ước tính có xu hướng bằng không và do đó công cụ ước tính hội tụ theo bình phương trung bình . Do đó, nó cũng hội tụ trong xác suất .

Một ví dụ đơn giản sẽ được ước lượng tham số cho quan sát iid .n y i ∼ Đồng phục [ 0 $\theta > 0$$n$$y_i \sim \text{Uniform}\left[0, \,\theta\right]$

Hãy để . Đối với bất kỳ hữu hạn nào, chúng ta có (vì vậy công cụ ước tính bị sai lệch), nhưng trong giới hạn, nó sẽ bằng với xác suất một (vì vậy nó phù hợp).nE[θn]<θ$\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$$n$$\mathbb{E}\left[\theta_n\right] < \theta$$\theta$

Xem xét bất kỳ công cụ ước lượng không thiên vị và nhất quán và một chuỗi hội tụ đến 1 ( không cần phải ngẫu nhiên) và mẫu . Nó thiên vị, nhưng nhất quán vì hội tụ đến 1.α n α n α n T n α $T_n$$\alpha_n$$\alpha_n$$\alpha_nT_n$$\alpha_n$

Từ wikipedia:

Nói một cách lỏng lẻo, một công cụ ước tính của tham số được cho là nhất quán, nếu nó hội tụ xác suất với giá trị thực của tham số: θ plim n → $T_n$$\theta$

$$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$$

Bây giờ nhớ lại rằng độ lệch của một công cụ ước tính được định nghĩa là:

$$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$$

Sự thiên vị thực sự là khác không, và sự hội tụ trong xác suất vẫn đúng.

Trong cài đặt chuỗi thời gian với biến phụ thuộc bị trễ được bao gồm dưới dạng biến hồi quy, công cụ ước tính OLS sẽ nhất quán nhưng bị sai lệch. Lý do cho điều này là để thể hiện tính không thiên vị của công cụ ước tính OLS, chúng ta cần có sự ngoại lệ nghiêm ngặt, , nghĩa là thuật ngữ lỗi, , trong khoảng thời gian không tương thích với tất cả các biến hồi quy trong mọi khoảng thời gian. Tuy nhiên, để thể hiện tính nhất quán của công cụ ước tính OLS, chúng ta chỉ cần ngoại lệ đồng thời, Right , nghĩa là thuật ngữ lỗi, , trong khoảng thời gian không tương thích với các biến hồi quy, ε t tE [ ε t | x t ] ε t tx t ty t =ρy t - 1 +ε t$E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$$\varepsilon_{t}$$t$$E\left[\varepsilon_{t}\left|x_{t}\right.\right]$$\varepsilon_{t}$$t$$x_{t}$ trong giai đoạn . Hãy xem xét mô hình AR (1): với kể từ bây giờ.$t$ x t = y t - $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$$x_{t}=y_{t-1}$

Đầu tiên tôi chỉ ra rằng tính ngoại lệ nghiêm ngặt không giữ trong một mô hình với biến phụ thuộc bị trễ bao gồm như một biến hồi quy. Hãy xem xét mối tương quan giữa và x t + 1 = y t E [ ε t x t + 1 ] = E [ ε t y t ] = E [ ε t ( ρ y t - 1 + ε t )$\varepsilon_{t}$$x_{t+1}=y_{t}$

$$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$$

$$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$$

$$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$$

Nếu chúng ta giả sử tính ngoại lệ liên tiếp, , nghĩa là thuật ngữ lỗi, , trong khoảng thời gian không tương thích với tất cả các biến hồi quy trong khoảng thời gian trước đó và hiện tại sau đó là thuật ngữ đầu tiên ở trên, , sẽ biến mất. Điều rõ ràng ở trên là trừ khi chúng ta có sự ngoại lệ nghiêm ngặt, kỳ vọng . Tuy nhiên, cần phải rõ ràng rằng tính ngoại sinh đồng thời, Right , sẽ giữ.ε t t ρ E ( ε t y t - 1 ) E [ ε t x t + 1 ] = E [ ε t y t ] ≠ 0 E [ ε t | x t$E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$$\varepsilon_{t}$$t$$\rho E\left(\varepsilon_{t}y_{t-1}\right)$$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$$E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

Bây giờ hãy xem xét độ lệch của công cụ ước tính OLS khi ước tính mô hình AR (1) được chỉ định ở trên. Công cụ ước tính OLS của , được đưa ra là:$\rho$$\hat{\rho}$

$$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$$

Sau đó, kỳ vọng có điều kiện vào tất cả các giá trị trước đó, đương thời và tương lai, , của :$E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$$Eq. (2)$

$$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$$

Tuy nhiên, chúng tôi biết từ rằng sao cho có nghĩa là và do đó nhưng bị sai lệch:$Eq. (1)$$E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$$\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$$\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$$\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$ .

Tất cả những gì tôi giả sử để thể hiện tính nhất quán của công cụ ước tính OLS trong mô hình AR (1) là tính ngoại lệ tương đương, Right dẫn đến điều kiện thời điểm, với . Như trước đây, chúng ta có công cụ ước tính OLS của , được đưa ra là:E [ ε t x t ] = 0 x $E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$$E\left[\varepsilon_{t}x_{t}\right]=0$$x_{t}=y_{t-1}$$\rho$$\hat{\rho}$

$$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$$

Bây giờ giả sử rằng và là tích cực và hữu hạn, .$plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$$\sigma_{y}^{2}$$0<\sigma_{y}^{2}<\infty$

Sau đó, khi và miễn là áp dụng luật số lượng lớn (LLN), chúng ta có . Sử dụng kết quả này, chúng tôi có:$T\rightarrow\infty$$p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$

$$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$$

Do đó, người ta đã chứng minh rằng công cụ ước tính OLS của , trong mô hình AR (1) là sai lệch nhưng nhất quán. Lưu ý rằng kết quả này đúng với tất cả các hồi quy trong đó biến phụ thuộc bị trễ được đưa vào như một biến hồi quy.$p$$\hat{\rho}$