Độc lập trung bình có điều kiện ngụ ý không thiên vị và nhất quán của công cụ ước tính OLS


10

Hãy xem xét mô hình hồi quy bội sau:

(1)Y=Xβ+Zδ+U.

Ở đây là một vectơ cột; Ma trận a ; a vectơ cột; Ma trận a ; a vectơ cột; và , thuật ngữ lỗi, vectơ cột .Yn×1Xn×(k+1)β(k+1)×1Zn×lδl×1Un×1


CÂU HỎI

Giảng viên của tôi, sách giáo khoa Giới thiệu về Kinh tế lượng, tái bản lần 3. của James H. Stock và Mark W. Watson, trang. 281 và Kinh tế lượng: Phiên đánh giá kỳ thi của Honor (PDF) , tr. 7, đã bày tỏ những điều sau đây với tôi.

  1. Nếu chúng ta giả sử cái được gọi là độc lập có nghĩa là có điều kiện , thì theo định nghĩa có nghĩa là
    (2)E(U|X,Z)=E(U|Z),
  2. và nếu giả định bình phương nhỏ nhất được thỏa mãn ngoại trừ giả định 0 trung bình có điều kiện (vì vậy chúng tôi giả sử ) (xem 1 -3 dưới đây),E(U|X,Z)=0E(U|X,Z)=E(U|Z)0

  3. sau đó, công cụ ước tính OLS của trong vẫn không thiên vị nhất quán, theo tập hợp giả định yếu hơn này.β^β(1)

Làm thế nào để tôi chứng minh đề xuất này? Tức là, 1 và 2 ở trên ngụ ý rằng ước tính OLS của cung cấp cho chúng tôi một công cụ ước tính không thiên vị và nhất quán cho ? Có bài viết nghiên cứu nào chứng minh đề xuất này?ββ


BÌNH LUẬN

Trường hợp đơn giản nhất được đưa ra bằng cách xem xét mô hình hồi quy tuyến tính và chứng minh rằng ước tính OLS của không thiên vị nếu cho mỗi .

Yi=β0+β1Xi+β2Zi+ui,i=1,2,,n,
β 1 β 1 E ( u i | X i , Z i ) = E ( u i | Z i ) iβ^1β1E(ui|Xi,Zi)=E(ui|Zi)i

BÀI TOÁN ĐÁNH GIÁ ĐÁNG TIN CẬY R VÀ QUANUiZi

Xác định , sau đó vàDo đó có thể được viết lại thành Bởi sau đó Bây giờ, vì và được phân phối bình thường, nên lý thuyết về phân phối bình thường, cf Bắt nguồn phân phối có điều kiện của một phân phối chuẩn nhiều chiều , nói rằng (trên thực tế, chúng ta không cần phải giả bình thường doanh nhưng chỉ có danh tính này) đối với một số của vectorV=UE(U|X,Z)U=V+E(U|X,Z)

(*)E(V|X,Z)=0.
(1)
(3)Y=Xβ+Zδ+E(U|X,Z)+V.
(2)
(4)Y=Xβ+Zδ+E(U|Z)+V.
UiZi E ( U | Z ) = Z γ l1γ0
(**)E(U|Z)=Zγ
l1γ0 .

Bây giờ trở thành Đối với mô hình tất cả các giả định bình phương nhỏ nhất đều được thỏa mãn, vì thuật ngữ lỗi thỏa mãn giả định có điều kiện có nghĩa là không. Điều này ngụ ý rằng ước tính OLS của sẽ không thiên vị, vì nếu chúng ta để và đặt là bởi ma trận gồm và , sau đó ước tính OLS của trong được đưa ra bằng cách xem xét các điều sau:(4)

(5)Y=Xβ+Z(δ+γ)+V.
(5)Vβ β ρ = δ + γ W = ( X , Z ) n ( k + 1 ) + l X Z β ( 5 ) ( β T , ρ T ) Tβ^βρ=δ+γW=(X,Z)n(k+1)+lXZβ(5)
(β^T,ρ^T)T=(WTW)1WTY=(WTW)1WT(W(βT,ρT)T+V)=(βT,ρT)T+(WTW)1WTV

và do đó trong đó dòng thứ hai theo sau . Do đó, là ước tính không thiên vị có điều kiện của vì ước tính OLS được đưa ra cho mô hình coinicide với mô hình được đưa ra cho mô hình . Bây giờ, theo luật tổng kỳ vọng và do đó là một công cụ ước tính không thiên vị cho .

E((β^T,ρ^T)T|W)=(βT,ρT)T+(WTW)1WsTE(V|W)=(βT,ρT)T+(WTW)1WT0=(βT,ρT)T,
() β β(1)(5) E ( β )β^β(1)(5)
E(β^)=E(E(β^|W))=E(β)=β,
β ββ^β

(Người ta có thể lưu ý rằng , do đó, hệ số trên không nhất thiết là không thiên vị.)E(ρ^)=ρ=δ+γδZ

Tuy nhiên, trường hợp đặc biệt ở trên giả định rằng và được phân phối bình thường, làm thế nào để tôi chứng minh đề xuất mà không có giả định này?UiZi

Giả sử rằng luôn luôn có đủ điều kiện (xem ), nhưng tôi phải rút ra kết quả chỉ bằng cách sử dụng và giả định bình phương nhỏ nhất không bao gồm giả định Không có điều kiện trung bình ( xem bên dưới).E(U|Z)=Zγ()(2)

ĐĂNG KÝ TIN CẬY

Tôi nghĩ người ta cũng có thể thấy rằng ước tính phù hợp với bằng cách lưu ý rằng trong mô hình hồi quy tất cả các giả định bình phương nhỏ nhất đều được thỏa mãn, bao gồm cả giả định rằng thuật ngữ lỗi (mới) thỏa mãn Giả định trung bình có điều kiện (xem và xem bên dưới).β^β(5)V()

Tôi có thể thêm một bằng chứng về tính nhất quán sau này dựa trên một loạt các bài tập trong Giới thiệu về Kinh tế lượng, tái bản lần 3. của James H. Stock và Mark W. Watson, ch. 18. Tuy nhiên, bằng chứng này khá dài. Nhưng vấn đề ở đây là bằng chứng được cung cấp trong các bài tập giả định , vì vậy tôi vẫn đang tự hỏi liệu giả định thực sự đủ hay không.()(2)

ĐĂNG KÝ 1

Trong Giới thiệu về Kinh tế, 3rd ed. của James H. Stock và Mark W. Watson, người ta nói, tại p. 300, giả định có thể được "nới lỏng" bằng cách sử dụng lý thuyết hồi quy phi tuyến. Họ làm gì hoặc có thể có ý nghĩa gì bởi điều này?()

CÁC ĐÁNH GIÁ SQUARES MỚI NHẤT

Ở đây tôi loại trừ giả định 0 có nghĩa là có điều kiện rằng vì mệnh đề mà chúng tôi cố gắng chứng minh ở đây cho phép trong trường hợp . Đây là những ví dụ trường hợp khi là tương quan với . Cf. Kinh tế lượng: Phiên đánh giá kỳ thi của Honor (PDF) , tr. 7.E(U|X,Z)=0E(U|X,Z)0ZU

Giả định bình phương nhỏ nhất là như sau.

  1. Các bản phân phối chung của , là iid, trong đó là phần tử thứ trong và trong đó và là các vectơ hàng thứ trong và .(Yi,Xi,Zi)i=1,2,,n,YiiYXiZiiXZ

  2. Kẻ xuất lớn không có khả năng, ví dụ, đối với mỗi , và có những giây phút thứ tư hữu hạn, nơi là : thứ yếu tố trong .iXi,ZiUiUiiU

  3. (X,Z) có thứ hạng cột đầy đủ (nghĩa là không có tính đa hình hoàn hảo; điều này đảm bảo tính không khả dụng của ).WTW

  4. ( Giả định bình phương tối thiểu mở rộng : Mặc dù tôi không nghĩ rằng điều này là cần thiết (và tôi đã nói rằng nó không phải), chúng tôi cũng có thể giả sử homoskedasticity, tức là cho mỗi và phân phối có điều kiện của cho là bình thường cho mỗi (nghĩa là chúng tôi có lỗi bình thường.))Var(Ui|Xi,Zi)=σU2iUi(Xi,Zi)i

LƯU Ý VỀ KẾT THÚC

Trong , giả định Zero có nghĩa là có điều kiện là giả định rằng . Tuy nhiên, giả định độc lập trung bình có điều kiện là giả định rằng .(1)E(U|X,Z)=0E(U|X,Z)=E(U|Z)

Thuật ngữ này được sử dụng trong ví dụ Giới thiệu về Kinh tế lượng, tái bản lần 3. của James H. Stock và Mark W. Watson, trang. 281; và Phân tích Kinh tế lượng của Mặt cắt ngang và Dữ liệu Bảng, lần xuất bản thứ nhất. bởi Jeffrey M. Wooldridge, trang. 607. Xem thêm Hạn chế độc lập có điều kiện: Kiểm tra và Ước tính cho các cuộc thảo luận tương tự.

BỔ SUNG VÀ KIẾM 2

Tôi nghĩ trái ngược với James H. Stock và Mark W. Watson rằng sự độc lập có nghĩa là có điều kiện không đảm bảo ước tính OLS không thiên vị của . Điều này là do có thể có các dạng phi tuyến như trong đó là một đa thức trong hoặc trong đó là một số tham số chưa được ước tính (ở đây tôi đang sử dụng hàm mũ theo ma trận ), và sau đó, tôi nghĩ rằng, hồi quy phi tuyến phải được áp dụng, điều này thường khiến chúng ta có các ước tính sai lệch. Ngoài ra, ước tính OLS trong (1) của thậm chí có thể không trùng với ước tính OLS củaβE(U|Z)E(U|Z)=p(Z)p(Z)ZE(U|Z)=exp(Zγ)γβ β ( 4 ) E ( U | Z )ββtrong nếu có các dạng phi tuyến nhất định. (Về mặt tâm lý tôi cũng cảm thấy rằng tuyên bố trong cuốn sách của Stock & Watson là quá tốt để trở thành sự thật.)(4)E(U|Z)

Vì vậy, một câu hỏi bổ sung là nếu có một số ví dụ cho đề xuất rằng sự độc lập có nghĩa là có điều kiện dẫn đến một ước tính OLS không thiên vị?

BÀI 3

Trong phần lớn Kinh tế học vô hại Angrist & Pischke lập luận trong tiểu mục 3.3, tr. 68--91, theo độc lập có điều kiện (CI), tức là độc lập với với (đó là điều kiện mạnh hơn, tôi đoán, so với giả định độc lập trung bình có điều kiện được đưa ra ở trên), có một mối liên hệ chặt chẽ giữa các ước tính khớp ảnh hưởng của đến và các hệ số trên trong hồi quy của trên và , điều này thúc đẩy theo ước tính OLS của hệ số trên theoYXWXYXYXWX(1) ít sai lệch hơn so với nếu CI không giữ (tất cả những thứ khác bằng nhau).

Bây giờ, ý tưởng này bằng cách nào đó có thể được sử dụng để trả lời câu hỏi chính của tôi ở đây?


@ Tây An nghĩa là gì? Đó là định nghĩa của độc lập có nghĩa là có điều kiện được đưa ra trong sách giáo khoa của tôi: Nếu chúng ta trong hồi quy tuyến tính có , sau đó chúng ta nói rằng chúng ta có độc lập có nghĩa là có điều kiện. Tôi chỉ nghĩ rằng cách viết của tôi là chung chung hơn. E ( u i | X i , Z i ) = E ( u i | Z i )Yi=β0+β1Xi+β2Zi+uiE(ui|Xi,Zi)=E(ui|Zi)
Elias

@ Xi'an Làm thế nào bạn có thể định nghĩa "độc lập có điều kiện $ ce" trong trường hợp này? Theo tôi nghĩ, "độc lập có điều kiện" là một khái niệm khác với "độc lập có nghĩa là có điều kiện". Họ có thể hoặc không thể liên kết về mặt khái niệm.
Elias

@ Xi'an Đây là cách tôi hiểu các khái niệm: Độc lập có điều kiện chỉ là , nhưng độc lập có nghĩa là có điều kiện là . E ( A | B , C ) = E ( A | C )P(AB|C)=P(A|C)P(B|C)E(A|B,C)=E(A|C)
Elias

Bình luận của Xi'an ở đâu?
Michael R. Chernick

@MichaelCécick Nhận xét của ông là người đầu tiên. Tôi đoán anh ấy đã xóa nó. Khi tôi nhớ nó, anh ấy nói rằng không ngụ ý độc lập có điều kiện, và tôi đã trả lời. E(U|X,Z)=E(U|Z)
Elias

Câu trả lời:


4

Nó sai. Khi bạn quan sát, nếu bạn đọc Stock và Watson chặt chẽ, họ thực sự không tán thành cho rằng OLS không thiên vị cho dưới sự độc lập có nghĩa là có điều kiện. Họ xác nhận tuyên bố yếu hơn nhiều rằng OLS không thiên vị cho nếu . Sau đó, họ nói một cái gì đó mơ hồ về bình phương tối thiểu phi tuyến tính.beta E ( u | x , z ) = z γββE(u|x,z)=zγ

Phương trình của bạn (4) chứa những gì bạn cần để thấy rằng yêu cầu là sai. Ước tính phương trình (4) bằng OLS trong khi bỏ qua biến dẫn đến sai lệch biến. Như bạn có thể nhớ lại, thuật ngữ sai lệch từ các biến bị bỏ qua (khi biến bị bỏ qua có hệ số 1) được kiểm soát bởi các hệ số từ hồi quy phụ trợ sau: Độ lệch trong hồi quy ban đầu cho là từ hồi quy này và độ lệch trên là . Nếu tương quan với , sau khi điều khiển tuyến tính choE ( u | z ) = x α 1 + z α 2 + ν β α 1 γ α 2 x E ( u | z ) z α 1E(u|x,z)

E(u|z)=xα1+zα2+ν
βα1γα2xE(u|z)z , sau đó sẽ khác không và hệ số OLS sẽ bị sai lệch.α1

Dưới đây là một ví dụ để chứng minh luận điểm:

ξF(),ζG(),νH()all independentz=ξx=z2+ζu=z+z2E(z+z2)+ν

Nhìn vào công thức của , rõ ràng Nhìn vào hồi quy phụ trợ, rõ ràng rằng (vắng mặt một số lựa chọn ngẫu nhiên của ) sẽ không bằng không.E ( u | x , z ) = E ( u | z ) = z + z 2 - E ( z + z 2 ) F , G , H α 1uE(u|x,z)=E(u|z)=z+z2E(z+z2)F,G,Hα1

Đây là một ví dụ rất đơn giản trong Rđó thể hiện quan điểm:

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

Lưu ý rằng hồi quy đầu tiên cung cấp cho bạn một hệ số trên bị sai lệch 0,63, phản ánh thực tế rằng "có một số trong đó" cũng như . Cũng lưu ý rằng hồi quy phụ trợ cho bạn ước tính sai lệch khoảng 0,63.x z 2 E ( u | z )xxz2E(u|z)

Vậy, Stock và Watson (và giảng viên của bạn) đang nói về điều gì? Chúng ta hãy quay lại phương trình của bạn (4):

y=xβ+zγ+E(u|z)+v

Một thực tế quan trọng là biến bị bỏ qua chỉ là một hàm của . Có vẻ như nếu chúng ta có thể kiểm soát thực sự tốt, điều đó sẽ đủ để loại bỏ sự thiên vị khỏi hồi quy, mặc dù có thể tương quan với .zzxu

Giả sử chúng ta ước tính phương trình dưới đây bằng phương pháp không tham số để ước tính hàm hoặc sử dụng dạng hàm chính xác . Nếu chúng tôi đang sử dụng biểu mẫu chức năng chính xác, chúng tôi sẽ ước tính nó theo bình phương tối thiểu phi tuyến tính (giải thích nhận xét khó hiểu về NLS): Điều đó sẽ cung cấp cho chúng tôi một công cụ ước tính nhất quán cho vì không còn vấn đề biến bị bỏ qua. f()f(z)=zγ+E(u|z)

y=xβ+f(z)+v
β

Ngoài ra, nếu chúng ta có đủ dữ liệu, chúng ta có thể kiểm soát 'tất cả các cách' 'trong việc kiểm soát . Chúng ta có thể xem xét một tập hợp con của dữ liệu trong đó và chỉ cần chạy hồi quy: Điều này sẽ cung cấp các công cụ ước tính nhất quán, không thiên vị cho ngoại trừ dĩ nhiên, việc đánh chặn sẽ bị ô nhiễm bởi . Rõ ràng, bạn cũng có thể có được một công cụ ước lượng nhất quán (không thiên vị) nhất quán bằng cách chạy hồi quy đó chỉ trên các điểm dữ liệu có . Và một số khác cho các điểm trong đó . V.v. Sau đó, bạn sẽ có một loạt các công cụ ước tính tốt mà từ đó bạn có thể tạo ra một công cụ ước tính tuyệt vời bằng cách, trung bình tất cả chúng cùng nhau bằng cách nào đó.zz=1

y=xβ+v
βf(1)z=2z=3

Suy nghĩ sau này là nguồn cảm hứng cho các công cụ ước tính phù hợp. Vì chúng ta thường không có đủ dữ liệu để chạy hồi quy theo nghĩa đen chỉ với hoặc thậm chí cho các cặp điểm mà giống hệt nhau, thay vào đó, chúng ta chạy hồi quy cho các điểm trong đó là 'đủ gần' 'để giống hệt nhau.z=1zz


3

Bạn không thể chứng minh kết quả này vì nó không đúng trong tuyên bố chung của nó. Bắt đầu với mô hình trong eq của bạn. (4)

Y=Xβ+Zδ+(E(U|Z)+V)

trong đó dấu ngoặc đơn lớn biểu thị thuật ngữ lỗi thực tế (chưa có giả định nào về kỳ vọng có điều kiện). Xác định ma trận tạo phần dư hoặc ma trận hủy diệt , là đối xứng, idempotent và chúng ta cũng có . MZ=IZ(ZZ)1ZMZZ=0

Bằng "kết quả hồi quy chia tay", chúng ta có điều đó

β^OLSβ=(XMZX)1XMZZδ+(XMZX)1XMZE(UZ)+(XMZX)1XMZV

Thuật ngữ đầu tiên bên phải đã bằng không. Lấy giá trị kỳ vọng xuyên suốt, và sau đó áp dụng thuộc tính tháp cho kỳ vọng có điều kiện, thuật ngữ thứ ba cũng sẽ bằng không (sử dụng tính độc lập trung bình có điều kiện ở dạng yếu hơn). Nhưng điều này là đến mức mà giả định yếu hơn này đưa chúng ta, bởi vì chúng ta sẽ bị bỏ lại với

E(β^OLS)β=E[(XMZX)1XMZE(UZ)]

Đối với sự không thiên vị, chúng tôi muốn phía bên phải bằng không. Điều này sẽ giữ nếu là hàm tuyến tính của (như bạn đã tìm thấy) bởi vì chúng ta sẽ lại nhận được số 0 . Nhưng mặt khác, nó hoàn toàn tùy ý khi trực tiếp cho rằng toàn bộ giá trị dự kiến ​​bằng không. Chúng tôi không phải giả định về tính hợp pháp chung, nhưng chúng tôi phải giả định tính tuyến tính của kỳ vọng có điều kiện này (các bản phân phối khác cũng có tính chất này). Vì vậy, giả định cần thiết cho tính không thiên vị của làE(UZ)ZMZZ
β

E(UX,Z)=E(UZ)=Zγ

và tôi không thể nói liệu nó có thực sự "yếu" hơn hay không, so với tính ngoại lệ nghiêm ngặt của tất cả các biến hồi quy (vì tính ngoại lệ nghiêm ngặt được nêu theo nghĩa độc lập trung bình đối với tất cả các giả định phân phối, trong khi ở đây chúng ta phải hạn chế các lớp phân phối mà và theo).UZ

Không khó để chỉ ra rằng theo giả định tuyến tính này cũng sẽ nhất quán.β^OLS


Câu trả lời tốt đẹp! Tôi đã đọc điều này từ lâu, và nghĩ rằng tôi sẽ nghĩ về nó sau. Tôi có một số câu hỏi: Làm thế nào bạn có thể chứng minh kết quả hồi quy phân vùng của bạn? Tôi sẽ đánh giá cao ít nhất là một tài liệu tham khảo. Ngoài ra, sự khác biệt giữa và gì? M zMZMz
Elias

1
@Monir và chỉ là một lỗi đánh máy - đã sửa. Để biết kết quả hồi quy được phân vùng (rất cũ và tiêu chuẩn), hãy xem ví dụ về sách giáo khoa Kinh tế lượng của Greene, trong chương này thảo luận về khía cạnh đại số của ước lượng bình phương nhỏ nhất thông thường. Nó bao gồm các bằng chứng. zZz
Alecos Papadopoulos
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.