Trực giác về các dấu "cộng" liên quan đến phương sai (từ thực tế là ngay cả khi chúng ta tính toán phương sai của các biến ngẫu nhiên độc lập, chúng ta thêm phương sai của chúng) là chính xác nhưng không đầy đủ: nếu các biến ngẫu nhiên liên quan không độc lập , sau đó hiệp phương sai cũng có liên quan - và hiệp phương sai có thể âm. Tồn tại một biểu thức gần giống như biểu thức trong câu hỏi được cho rằng nó "nên" là bởi OP (và tôi), và đó là phương sai của lỗi dự đoán , biểu thị nó , trong đó :y 0 = β 0 + β 1 x 0 + u 0e0=y0−y^0y0=β0+β1x0+u0
Var(e0)=σ2⋅(1+1n+(x0−x¯)2Sxx)
Sự khác biệt quan trọng giữa phương sai của sai số dự báo và phương sai của các ước lượng lỗi (tức là của dư), là số hạng sai số của các quan sát dự đoán là không tương quan với các ước lượng , vì giá trị đã không được sử dụng trong xây dựng công cụ ước tính và tính toán các ước tính, là một giá trị ngoài mẫu.y0
Đại số cho cả hai tiến hành theo cùng một cách chính xác đến một điểm (sử dụng thay vì ), nhưng sau đó phân kỳ. Đặc biệt:tôi0i
Trong hồi quy tuyến tính đơn giản , , phương sai của công cụ ước tính vẫn còn Var ( u i ) = σ 2 β = ( β 0 , beta 1 ) 'yi=β0+β1xi+uiVar(ui)=σ2β^=(β^0,β^1)′
Var(β^)=σ2(X′X)−1
Chúng ta có
X′X=[n∑xi∑xi∑x2i]
và như vậy
(X′X)−1=[∑x2i−∑xi−∑xin]⋅[n∑x2i−(∑xi)2]−1
Chúng ta có
[n∑x2i−(∑xi)2]=[n∑x2i−n2x¯2]=n[∑x2i−nx¯2]=n∑(x2i−x¯2)≡nSxx
Vì thế
( X'X )- 1= [ ( 1 / n ) Σ x2tôi- x¯- x¯1] ⋅(1 / Sx x)
có nghĩa là
Var ( β^0) = σ2( 1nΣ x2tôi)⋅ (1/Sxx)=σ2nSxx+nx¯2Sxx=σ2(1n+x¯2Sxx)
Var(β^1)=σ2(1/Sxx)
Cov(β^0,β^1)=−σ2(x¯/Sxx)
Phần dư thứ được định nghĩa lài
u^i=yi−y^i=(β0−β^0)+(β1−β^1)xi+ui
Các hệ số thực tế được coi là hằng số, biến hồi quy được cố định (hoặc có điều kiện trên đó) và không có hiệp phương sai với thuật ngữ lỗi, nhưng các công cụ ước tính có tương quan với thuật ngữ lỗi, bởi vì các công cụ ước tính chứa biến phụ thuộc và biến phụ thuộc chứa thuật ngữ lỗi. Vì vậy chúng tôi có
Var(u^i)=[Var(ui)+Var(β^0)+x2iVar(β^1)+2xiCov(β^0,β^1)]+2Cov([(β0−β^0)+(β1−β^1)xi],ui)
=[σ2+σ2(1n+x¯2Sxx)+x2iσ2(1/Sxx)+2Cov([(β0−β^0)+(β1−β^1)xi],ui)
Gói nó lên một chút để có được
Var(u^i)=[σ2⋅(1+1n+(xi−x¯)2Sxx)]+2Cov([(β0−β^0)+(β1−β^1)xi],ui)
Thuật ngữ trong ngoặc đơn lớn có cùng cấu trúc với phương sai của lỗi dự đoán, với thay đổi duy nhất là thay vì chúng ta sẽ có (và phương sai sẽ là của chứ không phải của ). Nhiệm kỳ hiệp phương sai cuối cùng là zero cho các lỗi dự đoán bởi vì và do đó là không bao gồm trong ước lượng, nhưng không phải không cho các lỗi ước lượng vì và do đó là một phần của mẫu và vì vậy nó được bao gồm trong người ước tính. Chúng ta cóx 0 e 0 u i y 0 u 0xix0e0u^iy0u0u iyiui
2Cov([(β0−β^0)+(β1−β^1)xi],ui)=2E([(β0−β^0)+(β1−β^1)xi]ui)
=−2E(β^0ui)−2xiE(β^1ui)=−2E([y¯−β^1x¯]ui)−2xiE(β^1ui)
sự thay thế cuối cùng từ cách tính . Tiếp tụcβ^0
...=−2E(y¯ui)−2(xi−x¯)E(β^1ui)=−2σ2n−2(xi−x¯)E[∑(xi−x¯)(yi−y¯)Sxxui]
=−2σ2n−2(xi−x¯)Sxx[∑(xi−x¯)E(yiui−y¯ui)]
=−2σ2n−2(xi−x¯)Sxx[−σ2n∑j≠i(xj−x¯)+(xi−x¯)σ2(1−1n)]
=−2σ2n−2(xi−x¯)Sxx[−σ2n∑(xi−x¯)+(xi−x¯)σ2]
=−2σ2n−2(xi−x¯)Sxx[0+(xi−x¯)σ2]=−2σ2n−2σ2(xi−x¯)2Sxx
Chèn biểu thức này vào biểu thức cho phương sai của phần dư, chúng ta thu được
Var(u^i)=σ2⋅(1−1n−(xi−x¯)2Sxx)
Vì vậy, mũ ra cho văn bản OP đang sử dụng.
(Tôi đã bỏ qua một số thao tác đại số, không có gì lạ khi đại số OLS được dạy ngày càng ít hơn trong những ngày này ...)
MỘT SỐ TỔNG HỢP
Vì vậy, có vẻ như những gì hoạt động "chống lại" chúng tôi (phương sai lớn hơn) khi dự đoán, hoạt động "cho chúng tôi" (phương sai thấp hơn) khi ước tính. Đây là một điểm khởi đầu tốt để người ta suy ngẫm tại sao một sự phù hợp tuyệt vời có thể là một dấu hiệu xấu cho khả năng dự đoán của mô hình (tuy nhiên phản tác dụng này có thể nghe có vẻ ...).
Thực tế là chúng tôi đang ước tính giá trị dự kiến của biến hồi quy, làm giảm phương sai đi . Tại sao? bởi vì bằng cách ước tính , chúng tôi "nhắm mắt" với một số biến đổi lỗi tồn tại trong mẫu, vì về cơ bản chúng tôi ước tính một giá trị dự kiến. Hơn nữa, lớn hơn độ lệch của một quan sát của một regressor từ trung bình mẫu của regressor,1/nphương sai của phần dư liên quan đến quan sát này sẽ là ... quan sát càng sai lệch, phần dư của nó càng ít sai lệch ... Đó là sự thay đổi của các biến hồi quy hoạt động cho chúng ta, bằng cách "thay thế" lỗi không xác định- biến thiên.
Nhưng đó là tốt cho ước tính . Để dự đoán , những điều tương tự chống lại chúng tôi: bây giờ, bằng cách không tính đến, tuy nhiên không hoàn hảo, tính biến thiên trong (vì chúng tôi muốn dự đoán nó), các ước tính không hoàn hảo của chúng tôi thu được từ mẫu cho thấy điểm yếu của chúng: chúng tôi ước tính có nghĩa là mẫu, chúng tôi không biết giá trị dự kiến thực sự - phương sai tăng. Chúng tôi có một khác xa so với trung bình mẫu như được tính toán từ các quan sát khác -too xấu, phương sai lỗi dự đoán của chúng tôi được tăng thêm, bởi vì dự đoán sẽ có xu hướng đi lạc hướng ... ngôn ngữ khoa học "dự đoán tối ưu theo nghĩa giảm phương sai lỗi dự đoán, đại diện cho mộty0x0 y^0co lại theo giá trị trung bình của biến theo dự đoán ". Chúng tôi không cố gắng sao chép biến thiên của biến phụ thuộc - chúng tôi chỉ cố gắng giữ" gần với mức trung bình ".