Phương sai của hệ số hồi quy trong hồi quy tuyến tính đơn giản

Trong hồi quy tuyến tính đơn giản, chúng ta có , trong đó . Tôi đã lấy công cụ ước tính: trong đó và là phương tiện mẫu của và . $y = \beta_0 + \beta_1 x + u$ $u \sim iid\;\mathcal N(0,\sigma^2)$

\hat{β_{1}} = \frac{\sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i} (x_{i} - \bar{x})^{2}},

$\hat{\beta_1} = \frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2}\ ,$

\bar{x}

$\bar{x}$

\bar{y}

$\bar{y}$

x

$x$

y

$y$

Bây giờ tôi muốn tìm phương sai của . Tôi đã nhận được một cái gì đó như sau: $\hat\beta_1$

Var (\hat{β_{1}}) = \frac{σ^{2} (1 - \frac{1}{n})}{\sum_{i} (x_{i} - \bar{x})^{2}} .

$\text{Var}(\hat{\beta_1}) = \frac{\sigma^2(1 - \frac{1}{n})}{\sum_i (x_i - \bar{x})^2}\ .$

Đạo hàm như sau:

\begin{aligned} Var (\hat{β_{1}}) \\ = = Var (\frac{\underset{tôi}{Σ} (x_{tôi} - \bar{x}) (y_{tôi} - \bar{y})}{\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2}}) \\ = = \frac{1}{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})^{2}} Var (\underset{tôi}{Σ} (x_{tôi} - \bar{x}) (β_{0} + β_{1} x_{tôi} + {bạn}_{tôi} - \frac{1}{n} \underset{j}{Σ} (β_{0} + β_{1} x_{j} + {bạn}_{j}))) \\ = = \frac{1}{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})^{2}} Var (β_{1} \underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2} + \underset{tôi}{Σ} (x_{tôi} - \bar{x}) ({bạn}_{tôi} - \underset{j}{Σ} \frac{{bạn}_{j}}{n})) \\ = = \frac{1}{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})^{2}} Var (\underset{tôi}{Σ} (x_{tôi} - \bar{x}) ({bạn}_{tôi} - \underset{j}{Σ} \frac{{bạn}_{j}}{n})) \\ = = \frac{1}{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})^{2}} \times \\ E [{(\underset{tôi}{Σ} (x_{tôi} - \bar{x}) ({bạn}_{tôi} - \underset{j}{Σ} \frac{{bạn}_{j}}{n}) - \underset{= = 0}{\underset{⏟}{E [\underset{tôi}{Σ} (x_{tôi} - \bar{x}) ({bạn}_{tôi} - \underset{j}{Σ} \frac{{bạn}_{j}}{n})]}})}^{2}] \\ = = \frac{1}{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})^{2}} E [{(\underset{tôi}{Σ} (x_{tôi} - \bar{x}) ({bạn}_{tôi} - \underset{j}{Σ} \frac{{bạn}_{j}}{n}))}^{2}] \\ = = \frac{1}{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})^{2}} E [\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2} ({bạn}_{tôi} - \underset{j}{Σ} \frac{{bạn}_{j}}{n})^{2}], kể từ {bạn}_{tôi} tôi là \\ = = \frac{1}{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})^{2}} \underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2} E {({bạn}_{tôi} - \underset{j}{Σ} \frac{{bạn}_{j}}{n})}^{2} \\ = = \frac{1}{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})^{2}} \underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2} (E ({bạn}_{tôi}^{2}) - 2 \times E ({bạn}_{tôi} \times (\underset{j}{Σ} \frac{{bạn}_{j}}{n})) + E {(\underset{j}{Σ} \frac{{bạn}_{j}}{n})}^{2}) \\ = = \frac{1}{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})^{2}} \underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2} (σ^{2} - \frac{2}{n} σ^{2} + \frac{σ^{2}}{n}) \\ = = \frac{σ^{2}}{\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2}} (1 - \frac{1}{n}) \end{aligned}

$\begin{align} &\text{Var}(\hat{\beta_1})\\ & = \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2} \right) \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} \text{Var}\left( \sum_i (x_i - \bar{x})\left(\beta_0 + \beta_1x_i + u_i - \frac{1}{n}\sum_j(\beta_0 + \beta_1x_j + u_j) \right)\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} \text{Var}\left( \beta_1 \sum_i (x_i - \bar{x})^2 + \sum_i(x_i - \bar{x}) \left(u_i - \sum_j \frac{u_j}{n}\right) \right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\text{Var}\left( \sum_i(x_i - \bar{x})\left(u_i - \sum_j \frac{u_j}{n}\right)\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\;\times \\ &\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n}) - \underbrace{E\left[\sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right] }_{=0}\right)^2\right]\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right)^2 \right] \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\sum_i(x_i - \bar{x})^2(u_i - \sum_j \frac{u_j}{n})^2 \right]\;\;\;\;\text{ , since } u_i \text{ 's are iid} \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2E\left(u_i - \sum_j \frac{u_j}{n}\right)^2\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2 \left(E(u_i^2) - 2 \times E \left(u_i \times (\sum_j \frac{u_j}{n})\right) + E\left(\sum_j \frac{u_j}{n}\right)^2\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2 \left(\sigma^2 - \frac{2}{n}\sigma^2 + \frac{\sigma^2}{n}\right)\\ & = \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2}\left(1 - \frac{1}{n}\right) \end{align}$

Tôi đã làm điều gì sai ở đây?

Tôi biết nếu tôi làm mọi thứ trong ký hiệu ma trận, tôi sẽ nhận được . Nhưng tôi đang cố gắng rút ra câu trả lời mà không sử dụng ký hiệu ma trận chỉ để đảm bảo tôi hiểu các khái niệm. ${\rm Var}(\hat{\beta_1}) = \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2}$

— Tên tôi là jeff
nguồn

Vâng, công thức của bạn từ ký hiệu ma trận là chính xác. Nhìn vào công thức trong câu hỏi, để có vẻ như bạn có thể sử dụng độ lệch chuẩn mẫu ở đâu đó thay vì độ lệch chuẩn dân số? Không nhìn thấy đạo hàm, thật khó để nói thêm nữa.

1 - \frac{1}{n} = \frac{n - 1}{n}

$1-\frac1{n}\,=\,\frac{n-1}{n}$

— TooTone

Câu trả lời chung cũng đã được đăng trong chuỗi trùng lặp tại stats.stackexchange.com/questions/91750 .

— whuber

Câu trả lời:

Khi bắt đầu phái sinh, bạn nhân ra dấu ngoặc , trong quá trình mở rộng cả và . Cái trước phụ thuộc vào biến tổng , trong khi cái sau thì không. Nếu bạn để nguyên , việc tạo đạo hàm đơn giản hơn rất nhiều, bởi vì $\sum_i (x_i - \bar{x})(y_i - \bar{y})$ $y_i$ $\bar{y}$ $i$ $\bar{y}$

\begin{aligned} \underset{tôi}{Σ} (x_{tôi} - \bar{x}) \bar{y} & = = \bar{y} \underset{tôi}{Σ} (x_{tôi} - \bar{x}) \\ = = \bar{y} ((\underset{tôi}{Σ} x_{tôi}) - n \bar{x}) \\ = = \bar{y} (n \bar{x} - n \bar{x}) \\ = = 0 \end{aligned}

$\begin{align} \sum_i (x_i - \bar{x})\bar{y} &= \bar{y}\sum_i (x_i - \bar{x})\\ &= \bar{y}\left(\left(\sum_i x_i\right) - n\bar{x}\right)\\ &= \bar{y}\left(n\bar{x} - n\bar{x}\right)\\ &= 0 \end{align}$

Vì thế

\begin{aligned} \underset{tôi}{Σ} (x_{tôi} - \bar{x}) (y_{tôi} - \bar{y}) & = = \underset{tôi}{Σ} (x_{tôi} - \bar{x}) y_{tôi} - \underset{tôi}{Σ} (x_{tôi} - \bar{x}) \bar{y} \\ = = \underset{tôi}{Σ} (x_{tôi} - \bar{x}) y_{tôi} \\ = = \underset{tôi}{Σ} (x_{tôi} - \bar{x}) (β_{0} + β_{1} x_{tôi} + {bạn}_{tôi}) \end{aligned}

$\begin{align} \sum_i (x_i - \bar{x})(y_i - \bar{y}) &= \sum_i (x_i - \bar{x})y_i - \sum_i (x_i - \bar{x})\bar{y}\\ &= \sum_i (x_i - \bar{x})y_i\\ &= \sum_i (x_i - \bar{x})(\beta_0 + \beta_1x_i + u_i )\\ \end{align}$

và

\begin{aligned} Var (\hat{β_{1}}) & = = Var (\frac{\underset{tôi}{Σ} (x_{tôi} - \bar{x}) (y_{tôi} - \bar{y})}{\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2}}) \\ = = Var (\frac{\underset{tôi}{Σ} (x_{tôi} - \bar{x}) (β_{0} + β_{1} x_{tôi} + {bạn}_{tôi})}{\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2}}), thay thế ở trên \\ = = Var (\frac{\underset{tôi}{Σ} (x_{tôi} - \bar{x}) {bạn}_{tôi}}{\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2}}), chỉ lưu ý {bạn}_{tôi} là một biến ngẫu nhiên \\ = = \frac{\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2} Var ({bạn}_{tôi})}{{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})}^{2}}, sự độc lập của {bạn}_{tôi} và, Var (k X) = = k^{2} Var (X) \\ = = \frac{σ^{2}}{\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2}} \end{aligned}

$\begin{align} \text{Var}(\hat{\beta_1}) & = \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2} \right) \\ &= \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(\beta_0 + \beta_1x_i + u_i )}{\sum_i (x_i - \bar{x})^2} \right), \;\;\;\text{substituting in the above} \\ &= \text{Var} \left(\frac{\sum_i (x_i - \bar{x})u_i}{\sum_i (x_i - \bar{x})^2} \right), \;\;\;\text{noting only $u_i$ is a random variable} \\ &= \frac{\sum_i (x_i - \bar{x})^2\text{Var}(u_i)}{\left(\sum_i (x_i - \bar{x})^2\right)^2} , \;\;\;\text{independence of } u_i \text{ and, Var}(kX)=k^2\text{Var}(X) \\ &= \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2} \\ \end{align}$

đó là kết quả mà bạn muốn

Là một lưu ý phụ, tôi đã dành một thời gian dài để cố gắng tìm ra một lỗi trong dẫn xuất của bạn. Cuối cùng tôi quyết định rằng sự thận trọng là phần tốt hơn của valor và tốt nhất là thử cách tiếp cận đơn giản hơn. Tuy nhiên, đối với hồ sơ, tôi không chắc chắn rằng bước này đã được chứng minh vì nó bỏ lỡ các điều khoản chéo do .

\begin{aligned} = = . \frac{1}{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})^{2}} E [{(\underset{tôi}{Σ} (x_{tôi} - \bar{x}) ({bạn}_{tôi} - \underset{j}{Σ} \frac{{bạn}_{j}}{n}))}^{2}] \\ = = \frac{1}{(\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2})^{2}} E [\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2} ({bạn}_{tôi} - \underset{j}{Σ} \frac{{bạn}_{j}}{n})^{2}], kể từ {bạn}_{tôi} tôi là \end{aligned}

$\begin{align} & =. \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right)^2 \right] \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\sum_i(x_i - \bar{x})^2(u_i - \sum_j \frac{u_j}{n})^2 \right]\;\;\;\;\text{ , since } u_i \text{ 's are iid} \\ \end{align}$

\sum_{j} \frac{u_{j}}{n}

$\sum_j \frac{u_j}{n}$

— Quá
nguồn

Tôi nhận thấy rằng tôi có thể sử dụng cách tiếp cận đơn giản hơn từ lâu, nhưng tôi đã quyết tâm đào sâu và đưa ra cùng một câu trả lời bằng các cách tiếp cận khác nhau, để đảm bảo rằng tôi hiểu các khái niệm. Tôi nhận ra rằng từ phương trình bình thường (FOC từ phương pháp bình phương nhỏ nhất), vì vậy , cộng với , vì vậy . Vì vậy, sẽ không có thuật ngữ ở vị trí đầu tiên.

\sum_{j} \hat{u_{j}} = 0

$\sum_j \hat{u_j} = 0$

\bar{\hat{u}} = \frac{\sum_{i} u_{i}}{n} = 0

$\bar{\hat{u}} = \frac{\sum_i u_i}{n}=0$

\bar{\hat{u}} = \bar{y} - \bar{\hat{y}} = 0

$\bar{\hat{u}} = \bar{y} - \bar{\hat{y}} = 0$

\bar{y} = \bar{\hat{y}}

$\bar{y} = \bar{\hat{y}}$

\sum_{j} \frac{u_{j}}{n}

$\sum_j \frac{u_j}{n}$

— mynameisJEFF

ok, trong câu hỏi của bạn, trọng tâm là tránh ký hiệu ma trận.

— TooTone

Có, bởi vì tôi đã có thể giải quyết nó bằng cách sử dụng ký hiệu ma trận. Và thông báo từ nhận xét cuối cùng của tôi, tôi đã không sử dụng bất kỳ đại số tuyến tính nào. Dù sao cũng cảm ơn câu trả lời tuyệt vời của bạn ^. ^

— mynameisJEFF

xin lỗi chúng ta đang nói chuyện ở mục đích chéo ở đây? Tôi cũng không sử dụng bất kỳ ký hiệu ma trận nào trong câu trả lời của mình và tôi nghĩ đó là những gì bạn đang hỏi trong câu hỏi của mình.

— TooTone

xin lỗi vì sự hiểu lầm haha ...

— mynameisJEFF

Tôi tin rằng vấn đề trong bằng chứng của bạn là bước mà bạn lấy giá trị mong đợi của bình phương của . Đây là dạng , trong đó . Vì vậy, khi bình phương, chúng ta nhận được . Bây giờ, từ tính toán rõ ràng, , vì vậy là $\sum_i (x_i - \bar{x} )\left( u_i -\sum_j \frac{u_j}{n} \right)$ $E \left[\left(\sum_i a_i b_i \right)^2 \right]$ $a_i = x_i -\bar{x}; b_i = u_i -\sum_j \frac{u_j}{n}$ $E \left[ \sum_{i,j} a_i a_j b_i b_j \right] = \sum_{i,j} a_i a_j E\left[b_i b_j \right]$ $E\left[b_i b_j \right] = \sigma^2 \left( \delta_{ij} -\frac{1}{n} \right)$ $E \left[ \sum_{i,j} a_i a_j b_i b_j \right] = \sum_{i,j} a_i a_j \sigma^2 \left( \delta_{ij} -\frac{1}{n} \right) = \sum_i a_i^2 \sigma^2$ $\sum_i a_i = 0$ .

— Stefano
nguồn

Bắt đầu từ "Đạo hàm như sau:" The 7th "=" là sai.

Bởi vì

$\sum_i (x_i - \bar{x})(u_i - \bar{u})$

$= \sum_i (x_i - \bar{x})u_i - \sum_i (x_i - \bar{x}) \bar{u}$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} \sum_i (x_i - \bar{x})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} (\sum_i{x_i} -n \bar{x})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} (\sum_i{x_i} -\sum_i{x_i})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} 0$

$= \sum_i (x_i - \bar{x})u_i$

Vì vậy, sau 7 "=" nên là:

$\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left[\left(\sum_i(x_i-\bar{x})u_i\right)^2\right]$

$=\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2 + 2\sum_{i\ne j}(x_i-\bar{x})(x_j-\bar{x})u_iu_j\right)$

= $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2\right) + 2E\left(\sum_{i\ne j}(x_i-\bar{x})(x_j-\bar{x})u_iu_j\right)$

= , vì và là độc lập và có nghĩa là 0, vì vậy $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2\right)$ $u_i$ $u_j$ $E(u_iu_j) =0$

= $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}\left(\sum_i(x_i-\bar{x})^2E(u_i^2)\right)$

$\frac {\sigma^2} {(\sum_i(x_i-\bar{x})^2)^2}$

— người dùng158565
nguồn

Nó có thể hữu ích nếu bạn chỉnh sửa câu trả lời của bạn để bao gồm dòng chính xác.

— mdewey

Câu trả lời của bạn đang được tự động gắn cờ là chất lượng thấp vì nó rất ngắn. Vui lòng xem xét mở rộng câu trả lời của bạn

— Glen_b -Reinstate Monica