Làm cách nào để tính toán phương sai của công cụ ước tính OLS


17

Tôi biết rằng và đây là khoảng cách tôi có được khi tính toán phương sai:

β0^=y¯β1^x¯

Var(β0^)=Var(y¯β1^x¯)=Var((x¯)β1^+y¯)=Var((x¯)β1^)+Var(y¯)=(x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2i=1n(xix¯)2

nhưng đó là xa như tôi đã nhận được. Công thức cuối cùng tôi đang cố gắng tính toán là

Var(β0^)=σ2n1i=1nxi2i=1n(xix¯)2

Tôi không chắc chắn làm thế nào để có được giả sử toán học của tôi đúng ở đó .

(x¯)2=1ni=1nxi2

Đây có phải là con đường đúng?

(x¯)2=(1ni=1nxi)2=1n2(i=1nxi)2

Tôi chắc chắn rằng nó đơn giản, vì vậy câu trả lời có thể chờ một chút nếu ai đó có gợi ý để đẩy tôi đi đúng hướng.


2
Đây không phải là con đường đúng. Phương trình thứ 4 không giữ. Ví dụ: với , và , số hạng bên trái bằng 0, trong khi số hạng bên phải là . Vấn đề xuất phát từ bước bạn chia phương sai (dòng thứ 3 của phương trình thứ hai). Xem tại sao? x 2 = 0 x 3 = 1 2 / 3x1=1x2=0x3=12/3
QuantIbex

Gợi ý về điểm Quantlbex: phương sai không phải là hàm tuyến tính. Nó vi phạm cả nghiện và nhân vô hướng.
David Marx

@DavidMarx Bước đó phải là , tôi nghĩ, và sau đó khi tôi thay thế cho và (không biết phải làm gì cho việc này nhưng tôi sẽ nghĩ về nó nhiều hơn), điều đó sẽ đưa tôi vào con đường đúng tôi hy vọng. ^ β 1 ˉ y
=Var((x¯)β1^+y¯)=(x¯)2Var(β1^)+y¯
β1^y¯
MT

Điều này LAF không đúng. Hãy nghĩ về điều kiện cần thiết cho phương sai của một tổng bằng với tổng phương sai.
QuantIbex

2
Không, là ngẫu nhiên vì , trong đó biểu thị tiếng ồn (ngẫu nhiên). Nhưng OK, nhận xét trước đây của tôi có thể sai lệch. Ngoài ra, , nếu và biểu thị các hằng số. yi=β0+β1xi+ϵϵVar(aX+b)=a2Var(X)aby¯yi=β0+β1xi+ϵϵVar(aX+b)=a2Var(X)ab
QuantIbex

Câu trả lời:


19

Đây là một câu hỏi tự nghiên cứu, vì vậy tôi cung cấp các gợi ý hy vọng sẽ giúp tìm ra giải pháp và tôi sẽ chỉnh sửa câu trả lời dựa trên phản hồi / tiến trình của bạn.

Tham số ước tính tối thiểu hóa tổng bình phương là Để lấy phương sai của , hãy bắt đầu từ biểu thức của nó và thay thế biểu thức của và thực hiện đại số Β0β1Vmộtr(β0)=Vmộtr(ˉY-β1ˉx)=...

β^0=y¯β^1x¯,β^1=i=1n(xix¯)yii=1n(xix¯)2.
β^0β^1
Var(β^0)=Var(Y¯β^1x¯)=

Chỉnh sửa:
Chúng tôi có Hai thuật ngữ phương sai là và và thuật ngữ hiệp phương sai là Vmộtr( ˉ Y )=Vmộtr( 1

Var(β^0)=Var(Y¯β^1x¯)=Var(Y¯)+(x¯)2Var(β^1)2x¯Cov(Y¯,β^1).
V một r ( β 1 )
Var(Y¯)=Var(1ni=1nYi)=1n2i=1nVar(Yi)=σ2n,
Cov( ˉ Y , beta 1)
Vmộtr(β^1)= =1[ΣTôi= =1n(xTôi-x¯)2]2ΣTôi= =1n(xTôi-x¯)2Vmộtr(YTôi)= =σ2ΣTôi= =1n(xTôi-x¯)2,
Cov(Y¯,β^1)= =Cov{1nΣTôi= =1nYTôi,Σj= =1n(xj-x¯)YjΣTôi= =1n(xTôi-x¯)2}= =1n1ΣTôi= =1n(xTôi-x¯)2Cov{ΣTôi= =1nYTôi,Σj= =1n(xj-x¯)Yj}= =1nΣTôi= =1n(xTôi-x¯)2ΣTôi= =1n(xj-x¯)Σj= =1nCov(YTôi,Yj)= =1nΣTôi= =1n(xTôi-x¯)2ΣTôi= =1n(xj-x¯)σ2= =0
kể từ . Và kể từ khi n Σ i = 1 ( x i - ˉ x ) 2 = n Σ i = 1 x 2 i - 2 ˉ x n Σ i = 1 x i + n Σ i = 1 ˉ x 2 = n Σ i =ΣTôi= =1n(xj-x¯)= =0
ΣTôi= =1n(xTôi-x¯)2= =ΣTôi= =1nxTôi2-2x¯ΣTôi= =1nxTôi+ΣTôi= =1nx¯2= =ΣTôi= =1nxTôi2-nx¯2,
chúng tôi có
Vmộtr(β^0)= =σ2n+σ2x¯2ΣTôi= =1n(xTôi-x¯)2= =σ2nΣTôi= =1n(xTôi-x¯)2{ΣTôi= =1n(xTôi-x¯)2+nx¯2}= =σ2ΣTôi= =1nxTôi2nΣTôi= =1n(xTôi-x¯)2.

Chỉnh sửa 2

Tại sao chúng ta có ?vmộtr(ΣTôi= =1nYTôi)= =ΣTôi= =1nVmộtr(YTôi)

Mô hình giả định là , trong đó là độc lập và phân phối ngẫu nhiên các biến ngẫu nhiên với và .YTôi= =β0+β1XTôi+εTôiεTôiE(εTôi)= =0vmộtr(εTôi)= =σ2

Khi chúng tôi có một mẫu, được biết đến, các thuật ngữ ngẫu nhiên duy nhất là . Nhắc lại rằng với một biến ngẫu nhiên và hằng số , chúng ta có . Do đó, Bình đẳng thứ 4 giữ làXTôiεTôiZmộtvmộtr(một+Z)= =vmộtr(Z)

vmộtr(ΣTôi= =1nYTôi)= =vmộtr(ΣTôi= =1nβ0+β1XTôi+εTôi)= =vmộtr(ΣTôi= =1nεTôi)= =ΣTôi= =1nΣj= =1ncov(εTôi,εj)= =ΣTôi= =1ncov(εTôi,εTôi)= =ΣTôi= =1nvmộtr(εTôi)= =ΣTôi= =1nvmộtr(β0+β1XTôi+εTôi)= =ΣTôi= =1nvmộtr(YTôi).
cov(εTôi,εj)= =0 đối với bởi tính độc lập của .TôijεTôi

Tôi nghĩ rằng tôi đã nhận nó! Cuốn sách có các bước gợi ý, và tôi đã có thể chứng minh từng bước riêng biệt (tôi nghĩ). Nó không thỏa mãn như chỉ ngồi xuống và nghiền nát nó từ bước này, vì tôi phải chứng minh kết luận trung gian cho nó để giúp đỡ, nhưng tôi nghĩ mọi thứ có vẻ tốt.
MT

Xem chỉnh sửa cho sự phát triển của phương pháp đề xuất.
QuantIbex

Phương sai của tổng bằng tổng của phương sai trong bước này: vì độc lập, điều này ngụ ý rằng độc lập như tốt, phải không
Vmộtr(Y¯)= =Vmộtr(1nΣTôi= =1nYTôi)= =1n2ΣTôi= =1nVmộtr(YTôi)
XTôiYTôi
MT

Ngoài ra, bạn có thể tính ra một hằng số từ hiệp phương sai trong bước này: mặc dù nó không có trong cả hai yếu tố bởi vì công thức cho hiệp phương sai là nhân, phải không?
1n1ΣTôi= =1n(xTôi-x¯)2Cov{ΣTôi= =1nYTôi,Σj= =1n(xj-x¯)Yj}
MT

1
@oort, trong tử số bạn có tổng thuật ngữ giống hệt nhau (và bằng ), vì vậy tử số là . nσ2nσ2
QuantIbex

1

Tôi hiểu rồi! Vâng, với sự giúp đỡ. Tôi đã tìm thấy một phần của cuốn sách đưa ra các bước để thực hiện khi chứng minh công thức (may mắn là nó không thực sự giải quyết được chúng, nếu không tôi không muốn thực sự làm bằng chứng). Tôi đã chứng minh từng bước riêng biệt, và tôi nghĩ rằng nó đã làm việc.Vmộtr(β^0)

Tôi đang sử dụng ký hiệu của cuốn sách, đó là: và là thuật ngữ lỗi.

SSTx= =ΣTôi= =1n(xTôi-x¯)2,
bạnTôi

1) Hiển thị rằng có thể được viết là trong đó và .β^1β^1= =β1+ΣTôi= =1nwTôibạnTôiwTôi= =dTôiSSTxdTôi= =xTôi-x¯

Điều này thật dễ dàng bởi vì chúng tôi biết rằng

β^1= =β1+ΣTôi= =1n(xTôi-x¯)bạnTôiSSTx= =β1+ΣTôi= =1ndTôiSSTxbạnTôi= =β1+ΣTôi= =1nwTôibạnTôi

2) Sử dụng phần 1, cùng với để hiển thị rằng và không được chỉnh sửa, tức là hiển thị rằng .ΣTôi= =1nwTôi= =0β1^bạn¯E[(β1^-β1)bạn¯]= =0

E[(β1^-β1)bạn¯]= =E[bạn¯ΣTôi= =1nwTôibạnTôi]= =ΣTôi= =1nE[wTôibạn¯bạnTôi]= =ΣTôi= =1nwTôiE[bạn¯bạnTôi]= =1nΣTôi= =1nwTôiE(bạnTôiΣj= =1nbạnj)= =1nΣTôi= =1nwTôi[E(bạnTôibạn1)++E(bạnTôibạnj)++E(bạnTôibạnn)]

và bởi vì là iid, khi .bạnE(bạnTôibạnj)= =E(bạnTôi)E(bạnj)jTôi

Khi , , vì vậy chúng ta có:j= =TôiE(bạnTôibạnj)= =E(bạnTôi2)

= =1nΣTôi= =1nwTôi[E(bạnTôi)E(bạn1)++E(bạnTôi2)++E(bạnTôi)E(bạnn)]= =1nΣTôi= =1nwTôiE(bạnTôi2)= =1nΣTôi= =1nwTôi[Vmộtr(bạnTôi)+E(bạnTôi)E(bạnTôi)]= =1nΣTôi= =1nwTôiσ2= =σ2nΣTôi= =1nwTôi= =σ2nSSTxΣTôi= =1n(xTôi-x¯)= =σ2nSSTx(0)= =0

3) Hiển thị rằng có thể được viết là . Điều này dường như cũng khá dễ dàng:β0^β0^= =β0+bạn¯-x¯(β1^-β1)

β0^= =y¯-β1^x¯= =(β0+β1x¯+bạn¯)-β1^x¯= =β0+bạn¯-x¯(β1^-β1).

4) Sử dụng phần 2 và 3 để hiển thị rằng : Vmộtr(β0^)= =σ2n+σ2(x¯)2SSTx

Vmộtr(β0^)= =Vmộtr(β0+bạn¯-x¯(β1^-β1))= =Vmộtr(bạn¯)+(-x¯)2Vmộtr(β1^-β1)= =σ2n+(x¯)2Vmộtr(β1^)= =σ2n+σ2(x¯)2SSTx.

Tôi tin rằng tất cả đều hoạt động vì chúng tôi đã cung cấp rằng và không tương quan, nên hiệp phương sai giữa chúng bằng 0, do đó phương sai của tổng là tổng của phương sai. chỉ là một hằng số, do đó, nó sẽ bị loại bỏ, cũng như sau này trong các tính toán.bạn¯β1^-β1β0β1

5) Sử dụng đại số và thực tế là :SSTxn= =1nΣTôi= =1nxTôi2-(x¯)2

Vmộtr(β0^)= =σ2n+σ2(x¯)2SSTx= =σ2SSTxSSTxn+σ2(x¯)2SSTx= =σ2SSTx(1nΣTôi= =1nxTôi2-(x¯)2)+σ2(x¯)2SSTx= =σ2n-1ΣTôi= =1nxTôi2SSTx

Có thể có một lỗi đánh máy ở điểm 1; Tôi nghĩ nên đọc . vmộtr(β^)β^
QuantIbex

Bạn có thể muốn làm rõ các ký hiệu và chỉ định và là gì. bạnTôiSSTx
QuantIbex

bạnTôi là thuật ngữ lỗi và là tổng bình phương cho (được xác định trong chỉnh sửa). SSTxx
MT

1
Ở điểm 1, thuật ngữ bị thiếu trong hai dòng cuối cùng. β1
QuantIbex

1
Ở điểm 2, bạn không thể đưa ra ngoài mong đợi, đó không phải là hằng số. bạn¯
QuantIbex
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.