Trong hồi quy tuyến tính đơn giản, công thức cho phương sai của phần dư đến từ đâu?

Theo một văn bản mà tôi đang sử dụng, công thức cho phương sai của phần dư được đưa ra bởi: $i^{th}$

$\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right )$

Tôi thấy điều này khó tin kể từ khi còn lại là sự khác biệt giữa giá trị quan sát và giá trị được trang bị; nếu người ta tính toán phương sai của chênh lệch, ít nhất tôi sẽ mong đợi một số "điểm cộng" trong biểu thức kết quả. Bất kỳ trợ giúp trong việc hiểu đạo hàm sẽ được đánh giá cao. $i^{th}$ $i^{th}$ $i^{th}$

regression variance residuals

— Eric
nguồn

Có thể một số dấu " " trong văn bản bị hiển thị sai (hoặc đọc sai) thành dấu " " không?

+

$+$

-

$-$

— whuber

Tôi đã nghĩ điều này, nhưng nó đã xảy ra hai lần trong văn bản (2 chương khác nhau) vì vậy tôi nghĩ nó không thể xảy ra. Tất nhiên, một dẫn xuất của công thức sẽ giúp! :)

— Eric

Các tiêu cực là kết quả của mối tương quan tích cực giữa một quan sát và giá trị phù hợp của nó, làm giảm phương sai của sự khác biệt.

— Glen_b -Reinstate Monica

@Glen Cảm ơn bạn đã giải thích lý do tại sao hóa ra công thức có ý nghĩa, cùng với đạo hàm ma trận của bạn dưới đây.

— Eric

Trực giác về các dấu "cộng" liên quan đến phương sai (từ thực tế là ngay cả khi chúng ta tính toán phương sai của các biến ngẫu nhiên độc lập, chúng ta thêm phương sai của chúng) là chính xác nhưng không đầy đủ: nếu các biến ngẫu nhiên liên quan không độc lập , sau đó hiệp phương sai cũng có liên quan - và hiệp phương sai có thể âm. Tồn tại một biểu thức gần giống như biểu thức trong câu hỏi được cho rằng nó "nên" là bởi OP (và tôi), và đó là phương sai của lỗi dự đoán , biểu thị nó , trong đó : $e^0 = y^0 - \hat y^0$ $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

Sự khác biệt quan trọng giữa phương sai của sai số dự báo và phương sai của các ước lượng lỗi (tức là của dư), là số hạng sai số của các quan sát dự đoán là không tương quan với các ước lượng , vì giá trị đã không được sử dụng trong xây dựng công cụ ước tính và tính toán các ước tính, là một giá trị ngoài mẫu. $y^0$

Đại số cho cả hai tiến hành theo cùng một cách chính xác đến một điểm (sử dụng thay vì ), nhưng sau đó phân kỳ. Đặc biệt: $^0$ $_i$

Trong hồi quy tuyến tính đơn giản , , phương sai của công cụ ước tính vẫn còn $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

Var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

Chúng ta có

X^{'} X = [\begin{matrix} n & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

và như vậy

{(X^{'} X)}^{- 1} = [\begin{matrix} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{matrix}] \cdot {[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}]}^{- 1}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

Chúng ta có

[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}] = [n \sum x_{i}^{2} - n^{2} {\bar{x}}^{2}] = n [\sum x_{i}^{2} - n {\bar{x}}^{2}] = n \sum (x_{i}^{2} - {\bar{x}}^{2}) \equiv n S_{x x}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

Vì thế

{(X^{'} X)}^{- 1} = [\begin{matrix} (1 / n) \sum x_{i}^{2} & - \bar{x} \\ - \bar{x} & 1 \end{matrix}] \cdot (1 / S_{x x})

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

có nghĩa là

Var ({\hat{β}}_{0}) = σ^{2} (\frac{1}{n} \sum x_{i}^{2}) \cdot (1 / S_{x x}) = \frac{σ^{2}}{n} \frac{S_{x x} + n {\bar{x}}^{2}}{S_{x x}} = σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}})

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Var ({\hat{β}}_{1}) = σ^{2} (1 / S_{x x})

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

Cov ({\hat{β}}_{0}, {\hat{β}}_{1}) = - σ^{2} (\bar{x} / S_{x x})

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

Phần dư thứ được định nghĩa là $i$

{\hat{u}}_{i} = y_{i} - {\hat{y}}_{i} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i} + u_{i}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

Các hệ số thực tế được coi là hằng số, biến hồi quy được cố định (hoặc có điều kiện trên đó) và không có hiệp phương sai với thuật ngữ lỗi, nhưng các công cụ ước tính có tương quan với thuật ngữ lỗi, bởi vì các công cụ ước tính chứa biến phụ thuộc và biến phụ thuộc chứa thuật ngữ lỗi. Vì vậy chúng tôi có

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2} + σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) + x_{i}^{2} σ^{2} (1 / S_{x x}) + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Gói nó lên một chút để có được

Var ({\hat{u}}_{i}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Thuật ngữ trong ngoặc đơn lớn có cùng cấu trúc với phương sai của lỗi dự đoán, với thay đổi duy nhất là thay vì chúng ta sẽ có (và phương sai sẽ là của chứ không phải của ). Nhiệm kỳ hiệp phương sai cuối cùng là zero cho các lỗi dự đoán bởi vì và do đó là không bao gồm trong ước lượng, nhưng không phải không cho các lỗi ước lượng vì và do đó là một phần của mẫu và vì vậy nó được bao gồm trong người ước tính. Chúng ta có $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}] u_{i})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

sự thay thế cuối cùng từ cách tính . Tiếp tục $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum (x_{i} - \bar{x}) + (x_{i} - \bar{x}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [0 + (x_{i} - \bar{x}) σ^{2}] = - 2 \frac{σ^{2}}{n} - 2 σ^{2} \frac{(x_{i} - \bar{x})^{2}}{S_{x x}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

Chèn biểu thức này vào biểu thức cho phương sai của phần dư, chúng ta thu được

Var ({\hat{u}}_{i}) = σ^{2} \cdot (1 - \frac{1}{n} - \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

Vì vậy, mũ ra cho văn bản OP đang sử dụng.

(Tôi đã bỏ qua một số thao tác đại số, không có gì lạ khi đại số OLS được dạy ngày càng ít hơn trong những ngày này ...)

MỘT SỐ TỔNG HỢP

Vì vậy, có vẻ như những gì hoạt động "chống lại" chúng tôi (phương sai lớn hơn) khi dự đoán, hoạt động "cho chúng tôi" (phương sai thấp hơn) khi ước tính. Đây là một điểm khởi đầu tốt để người ta suy ngẫm tại sao một sự phù hợp tuyệt vời có thể là một dấu hiệu xấu cho khả năng dự đoán của mô hình (tuy nhiên phản tác dụng này có thể nghe có vẻ ...).
Thực tế là chúng tôi đang ước tính giá trị dự kiến của biến hồi quy, làm giảm phương sai đi . Tại sao? bởi vì bằng cách ước tính , chúng tôi "nhắm mắt" với một số biến đổi lỗi tồn tại trong mẫu, vì về cơ bản chúng tôi ước tính một giá trị dự kiến. Hơn nữa, lớn hơn độ lệch của một quan sát của một regressor từ trung bình mẫu của regressor, $1/n$ phương sai của phần dư liên quan đến quan sát này sẽ là ... quan sát càng sai lệch, phần dư của nó càng ít sai lệch ... Đó là sự thay đổi của các biến hồi quy hoạt động cho chúng ta, bằng cách "thay thế" lỗi không xác định- biến thiên.

Nhưng đó là tốt cho ước tính . Để dự đoán , những điều tương tự chống lại chúng tôi: bây giờ, bằng cách không tính đến, tuy nhiên không hoàn hảo, tính biến thiên trong (vì chúng tôi muốn dự đoán nó), các ước tính không hoàn hảo của chúng tôi thu được từ mẫu cho thấy điểm yếu của chúng: chúng tôi ước tính có nghĩa là mẫu, chúng tôi không biết giá trị dự kiến thực sự - phương sai tăng. Chúng tôi có một khác xa so với trung bình mẫu như được tính toán từ các quan sát khác -too xấu, phương sai lỗi dự đoán của chúng tôi được tăng thêm, bởi vì dự đoán sẽ có xu hướng đi lạc hướng ... ngôn ngữ khoa học "dự đoán tối ưu theo nghĩa giảm phương sai lỗi dự đoán, đại diện cho một $y^0$ $x^0$ $\hat y^0$ co lại theo giá trị trung bình của biến theo dự đoán ". Chúng tôi không cố gắng sao chép biến thiên của biến phụ thuộc - chúng tôi chỉ cố gắng giữ" gần với mức trung bình ".

— Alecos Papadopoulos
nguồn

Cảm ơn bạn đã trả lời rất rõ ràng! Tôi mừng vì "trực giác" của mình đã đúng.

— Eric

Alecos, tôi thực sự không nghĩ rằng điều này là đúng.

— Glen_b -Reinstate Monica

@Alecos lỗi là trong việc lấy các ước tính tham số để không tương quan với thuật ngữ lỗi. Phần này: không đúng.

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$

— Glen_b -Reinstate Monica

@Eric Tôi xin lỗi vì đã đánh lừa bạn trước đó. Tôi đã cố gắng cung cấp một số trực giác cho cả hai công thức.

— Alecos Papadopoulos

+1 Bạn có thể thấy lý do tại sao tôi thực hiện trường hợp hồi quy bội cho việc này ... cảm ơn vì đã nỗ lực thêm để thực hiện trường hợp hồi quy đơn giản.

— Glen_b -Reinstate Monica

Xin lỗi vì câu trả lời hơi ngắn gọn, có lẽ quá trừu tượng và thiếu một lượng giải thích trực quan mong muốn, nhưng tôi sẽ cố gắng quay lại và thêm một vài chi tiết sau. Ít nhất là nó ngắn.

Cho , $H=X(X^TX)^{-1}X^T$

\begin{array}{rcl} Var (y - \hat{y}) & = & Var ((I - H) y) \\ = & (I - H) Var (y) (I - H)^{T} \\ = & σ^{2} (I - H)^{2} \\ = & σ^{2} (I - H) \end{array}

$\begin{eqnarray} \text{Var}(y-\hat{y})&=&\text{Var}((I-H)y)\\ &=&(I-H)\text{Var}(y)(I-H)^T\\ &=&\sigma^2(I-H)^2\\ &=&\sigma^2(I-H) \end{eqnarray}$

Vì thế

Var (y_{i} - {\hat{y}}_{i}) = σ^{2} (1 - h_{i i})

$\text{Var}(y_i-\hat{y}_i)=\sigma^2(1-h_{ii})$

Trong trường hợp hồi quy tuyến tính đơn giản ... điều này đưa ra câu trả lời trong câu hỏi của bạn.

Câu trả lời này cũng có ý nghĩa: vì tương quan dương với , phương sai của chênh lệch phải nhỏ hơn tổng phương sai. $\hat{y}_i$ $y_i$

Chỉnh sửa: Giải thích tại sao là idempotent . $(I-H)$

(i) là idempotent: $H$

$H^2=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T$ $= X\ [(X^TX)^{-1}X^TX]\ (X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H$

(ii) $(I-H)^2= I^2-IH-HI+H^2=I-2H+H=I-H$

— Glen_b -Reinstate Monica
nguồn

Đây là một dẫn xuất rất hay vì sự đơn giản của nó, mặc dù một bước không rõ ràng với tôi là tại sao . Có lẽ khi bạn mở rộng câu trả lời của mình một chút, vì dù sao bạn cũng dự định làm, bạn có thể nói một chút gì đó về điều đó?

(I - H)^{2} = (I - H)

$(I-H)^2=(I-H)$

— Jake Westfall

@Jake Đã thêm một vài dòng ở cuối

— Glen_b -Reinstate Monica