Tại sao phương sai của 2SLS lớn hơn OLS?

9

... Một vấn đề tiềm năng khác khi áp dụng 2SLS và các quy trình IV khác là các lỗi tiêu chuẩn 2SLS có xu hướng '' lớn. '' Điều này thường có nghĩa là gì bởi các hệ số 2SLS không có ý nghĩa thống kê hoặc tiêu chuẩn 2SLS lỗi lớn hơn nhiều so với lỗi tiêu chuẩn OLS. Không có gì đáng ngạc nhiên, độ lớn của các lỗi tiêu chuẩn 2SLS phụ thuộc vào chất lượng của các thiết bị được sử dụng trong ước tính.

Trích dẫn này là từ "Phân tích kinh tế lượng dữ liệu mặt cắt ngang và bảng điều khiển" của Wooldridge . Tôi tự hỏi tại sao điều này xảy ra? Tôi muốn một lời giải thích toán học.

Giả sử tính đồng nhất cho đơn giản, phương sai tiệm cận (ước tính) của công cụ ước tính OLS được đưa ra bởi

\hat{A v a r} ({\hat{β}}_{O L S}) = n σ^{2} (X^{'} X)^{- 1}

$\widehat{Avar}(\hat{\beta}_{OLS}) = n\sigma^2(X'X)^{-1}$ trong khi đối với công cụ ước tính 2SLS

\hat{A v a r} ({\hat{β}}_{2 S L S}) = n σ^{2} ({\hat{X}}^{'} \hat{X})^{- 1}

$\widehat{Avar}(\hat{\beta}_{2SLS}) = n\sigma^2(\hat{X}'\hat{X})^{-1}$ Ở đâu

\hat{X} = P_{z} X = Z (Z^{'} Z)^{- 1} Z^{'} X .

$\hat{X} = P_zX = Z(Z'Z)^{-1}Z'X.$

$X$ là ma trận của các biến hồi quy, bao gồm cả các biến nội sinh và $Z$ là ma trận của các biến công cụ.

Vì vậy, viết lại phương sai cho 2SLS

\hat{A v a r} ({\hat{β}}_{2 S L S}) = n σ^{2} {(X^{'} Z (Z^{'} Z)^{- 1} Z^{'} X)}^{- 1} .

$\widehat{Avar}(\hat{\beta}_{2SLS}) = n\sigma^2\left(X'Z(Z'Z)^{-1}Z'X\right)^{-1}.$

Tuy nhiên, tôi không thể kết luận từ các công thức trên $\widehat{Avar}(\hat{\beta}_{2SLS}) \geq \widehat{Avar}(\hat{\beta}_{OLS})$ .

— tosik
nguồn

Tôi nghĩ rằng bạn đã quên thực hiện nghịch đảo trong biểu thức cuối cùng của Avar về 2SLS.

— Richard Hardy

Bạn nói đúng, sửa sai.

— tosik

Tôi đã thực hiện một vài chỉnh sửa nhỏ, đặc biệt liên quan đến định nghĩa về

Z

$Z$ . Hãy kiểm tra.

— Christoph Hanck

6

Chúng tôi nói một ma trận $A$ ít nhất là lớn bằng $B$ nếu sự khác biệt của họ $A-B$ là semidefinite dương (psd).

Một tuyên bố tương đương hóa ra là dễ xử lý hơn để kiểm tra ở đây là $B^{-1}-A^{-1}$ là psd (rất giống $a>b$ tương đương với $1/b>1/a$ ).

Vì vậy, chúng tôi muốn kiểm tra xem

X^{'} X - X^{'} Z (Z^{'} Z)^{- 1} Z^{'} X

$X'X-X'Z(Z'Z)^{-1}Z'X$ là psd.

Viết

X^{'} X - X^{'} Z (Z^{'} Z)^{- 1} Z^{'} X = X^{'} (I - Z (Z^{'} Z)^{- 1} Z^{'}) X = X^{'} M_{Z} X

$X'X-X'Z(Z'Z)^{-1}Z'X=X'(I-Z(Z'Z)^{-1}Z')X=X'M_ZX$ Để kiểm tra

X^{'} M_{Z} X

$X'M_ZX$ là psd, chúng ta phải chỉ ra rằng, đối với bất kỳ vector nào

d

$d$ ,

d^{'} X^{'} M_{Z} X d \geq 0

$d'X'M_ZXd\geq0$ Để cho

c = X d

$c=Xd$ . Sau đó,

c^{'} M_{Z} c \geq 0

$c'M_Zc\geq0$ như

M_{Z}

$M_Z$ là một ma trận chiếu đối xứng và không đối xứng, được biết đến là psd: write, sử dụng tính đối xứng và idempotency,

c^{'} M_{Z} c = c^{'} M_{Z} M_{Z} c = c^{'} M_{Z}^{'} M_{Z} c

$c'M_Zc=c'M_ZM_Zc=c'M_Z'M_Zc$ và để

e = M_{Z} c

$e=M_Zc$ , vậy nên

c^{'} M_{Z} c = e^{'} e = \sum_{i} e_{i}^{2}

$c'M_Zc=e'e=\sum_ie_i^2$ , trong đó, là một tổng bình phương, phải là không âm.

PS: Hai vấn đề nhỏ - bạn đề cập đến phương sai tiệm cận ước tính $\widehat{Avar}(\hat\beta_j)$ . Bây giờ, công cụ ước tính OLS và công cụ ước tính 2SLS của $\sigma^2$ không giống nhau, do đó tôi không thấy rằng thứ hạng nhất thiết phải được bảo tồn nếu các ước tính này khác nhau. Ngoài ra, phương sai tiệm cận thường được nhân rộng bởi $n$ để có được số lượng không suy giảm như $n\to\infty$ . (Tất nhiên, nhân rộng cả hai bằng $n$ sẽ không ảnh hưởng đến thứ hạng, vì vậy vấn đề là một chút tranh luận cho câu hỏi cụ thể này.)

— Christoph Hanck
nguồn

Rất cám ơn câu trả lời của bạn. Phương sai tiệm cận thực sự nên được chia cho

n

$n$ (đã sửa). Tôi đoán có một lỗi đánh máy khi bạn gọi

M_{z}

$M_z$ ma trận chiếu, tôi nghĩ nó được gọi là ma trận annihilator. Dù sao, bạn có thể vui lòng cung cấp chi tiết tại sao

M_{z}

$M_z$ là psd. Tôi cũng không hiểu ý của bạn rằng các công cụ ước tính OLS và 2SLS cho

σ^{2}

$\sigma^2$ không giống nhau, bạn có thể giải thích ý nghĩa của nó không?

— tosik

Tôi đã thêm một số chi tiết.

M

$M$ thực sự được biết đến như là ma trận hủy diệt, nhưng vì nó cũng chiếu trên một số không gian (phần bù trực giao của hình ảnh của

P

$P$ ) nó cũng là một ma trận chiếu.

— Christoph Hanck

Cảm ơn đã làm rõ và chỉnh sửa (Tôi không biết tại sao tôi quyết định chia cho

n

$n$ ). Bạn có thể giải thích điểm đầu tiên của bạn trong PS?

— tosik

Để thực sự biến nó thành phương sai tiệm cận ước tính , bạn sẽ cần một số công cụ ước tính

{\hat{σ}}^{2}

$\hat\sigma^2$ . Công cụ ước tính OLS của

σ^{2}

$\sigma^2$ được dựa trên phần dư OLS, trong khi công cụ ước tính 2SLS sử dụng phần dư

y - X {\hat{β}}_{2 S L S}

$y-X\hat\beta_{2SLS}$ ước tính, ước lượng

σ^{2}

$\sigma^2$ . Các ước tính này có thể khác nhau, theo một trong hai hướng, có thể ảnh hưởng đến thứ hạng của phương sai.

— Christoph Hanck

3

Tôi nghĩ rằng đây là một trong những thời điểm dễ dàng hơn nhiều khi nhìn vào phương trình đơn giản, một thiết lập biến. Vì vậy, đây là hồi quy IV chứ không phải 2SLS (nhưng kết quả vẫn là chung). Vì vậy, chúng tôi sẽ đưa ra một mô hình (sử dụng ký hiệu Wooldridge), đối với một số $i$ chúng ta có:

y_{i} = β_{0} + β_{1} x_{i 1} + u_{i}

$y_i = \beta_0 + \beta_1 x_{i1} + u_i$

Bây giờ, nếu chúng ta giả sử rằng các mô hình này tuân theo các giả định Gauss-Markov thì chúng ta biết (xem bất kỳ sách giáo khoa đàng hoàng nào) rằng phương sai tiệm cận của $\hat\beta_1$ được đưa ra bởi:

A v a r ({\hat{β}}_{O L S}) = \frac{{\hat{σ}}^{2}}{S S T_{x}}

$Avar(\hat\beta_{OLS})=\frac{\hat\sigma^2}{SST_x}$

Ở đâu $SST_x$ là tổng số bình phương cho $x$ . Nếu thay vào đó, chúng tôi cho rằng $x$ là (có thể) endegonoues và sử dụng hồi quy IV với $z$ là một công cụ, sau đó phương sai tiệm cận của công cụ ước tính IV là:

A v a r ({\hat{β}}_{i v}) = \frac{{\hat{σ}}^{2}}{S S T_{x} \cdot R_{x, z}^{2}}

$Avar(\hat\beta_{iv}) = \frac{\hat\sigma^2}{SST_x \cdot R^2_{x,z}}$

Từ $R^2$ luôn luôn ở giữa $0$ và $1$ , đó phải là trường hợp mẫu số cho công cụ ước tính IV nhỏ hơn đối với OLS (nếu OLS thực sự hợp lệ).

— Từ ngữ
nguồn

0

Chỉ là một nhận xét. Tôi đoán rằng khá rõ ràng rằng ước tính phương sai của các lỗi cao hơn khi sử dụng 2SLS. Hãy nhớ lại rằng OLS giảm thiểu ước tính của phương sai này. Vì vậy, bất kỳ công cụ ước tính nào khác nên có ước tính mẫu cao hơn về phương sai của các lỗi.

— Paul
nguồn