Là ước tính của các hệ số hồi quy không tương quan?

Hãy xem xét một hồi quy đơn giản (không quy tắc): trong đó có nghĩa là và độ lệch chuẩn . Các ước tính tối thiểu của và không tương quan?e i 0 σ một

$$Y_i = a + b X_i + e_i,$$ $e_i$$0$$\sigma$$a$$b$

Đây là một xem xét quan trọng trong việc thiết kế các thí nghiệm, trong đó có thể mong muốn không có mối tương quan (hoặc rất ít) giữa các ước tính và . Sự thiếu tương quan như vậy có thể đạt được bằng cách kiểm soát các giá trị của . b X$\hat a$$\hat b$$X_i$

---

Để phân tích ảnh hưởng của đến các ước tính, các giá trị ( 1 , X i ) (là các vectơ hàng có độ dài 2 ) được ghép theo chiều dọc vào một ma trận X , ma trận thiết kế, có nhiều hàng như có dữ liệu và (rõ ràng) hai cột. Y i tương ứng được tập hợp thành một vectơ dài (cột) y . Trong các điều khoản, viết β = ( một , b ) ' cho các hệ số lắp ráp, mô hình là$X_i$$(1,X_i)$$2$$X$$Y_i$$y$$\beta = (a,b)^\prime$

$$\mathbb{E}(Y) = X \cdot \beta$$

Các (thường) giả định là các biến ngẫu nhiên độc lập có chênh lệch là một hằng số σ 2 đối với một số chưa biết σ > 0 . Các quan sát phụ thuộc y được đưa đến là một thực hiện của biến ngẫu nhiên vector có giá trị Y .$Y_i$$\sigma^2$$\sigma \gt 0$$y$$Y$

Giải pháp OLS là

$$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$$

giả sử ma trận này tồn tại. Do đó, sử dụng các thuộc tính cơ bản của phép nhân và hiệp phương sai,

$$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$$

Ma trận chỉ có hai hàng và hai cột, tương ứng với các tham số mô hình ( a , b ) . Mối tương quan của một với b là tỷ lệ thuận với các yếu tố off-đường chéo của ( X ' X ) - 1 , mà theo Quy tắc Cramer là tỷ lệ thuận với số điểm của hai cột của X . Vì một trong các cột là tất cả 1 s, có sản phẩm chấm với cột khác (bao gồm $\left(X^\prime X\right)^{-1}$$(a,b)$$\hat a$$\hat b$$(X^\prime X)^{-1},$$X$$1$ ) là tổng của họ, chúng tôi tìm thấy$X_i$

và b được không tương quan nếu và chỉ tổng (hoặc tương đương giá trị trung bình) củaXilà zero.$\hat a$$\hat b$$X_i$

Tình trạng này trực giao thường xuyên được thực hiện bằng recentering các (bằng cách trừ đi trung bình của họ từ mỗi). Mặc dù điều này sẽ không làm thay đổi ước tính độ dốc b , nó thay đổi ước tính chặn một . Điều đó có quan trọng hay không phụ thuộc vào ứng dụng.$X_i$$\hat b$$\hat a$

---

Tthis phân tích áp dụng cho nhiều hồi quy: ma trận thiết kế sẽ có cột cho p biến độc lập (một cột bổ sung bao gồm 1 s) và β sẽ là một vector có độ dài p + 1 , nhưng nếu không tất cả mọi thứ đi qua như trước đây. $p+1$$p$$1$$\beta$$p+1$

Trong ngôn ngữ thông thường, hai cột của được gọi là trực giao khi sản phẩm chấm của chúng bằng không. Khi một cột của X (giả sử cột i ) trực giao với tất cả các cột khác, thì thực tế đại số dễ dàng chứng minh rằng tất cả các mục ngoài đường chéo trong hàng i và cột i của ( X ′ X ) - 1 đều bằng 0 (đó là , các thành phần i j và j i cho tất cả j ≠ i đều bằng 0). Hậu quả là,$X$$X$$i$$i$$i$$(X^\prime X)^{-1}$$ij$$ji$$j\ne i$

Hai nhiều ước tính hệ số hồi quy beta i và β j là không tương quan bất cứ khi nào một trong hai (hoặc cả hai) của các cột tương ứng của ma trận thiết kế trực giao với tất cả các cột khác.$\hat\beta_i$$\hat\beta_j$

Nhiều thiết kế thử nghiệm tiêu chuẩn bao gồm việc chọn các giá trị của các biến độc lập để làm cho các cột trực giao lẫn nhau. Điều này "phân tách" các ước tính kết quả bằng cách đảm bảo - trước khi bất kỳ dữ liệu nào được thu thập! - rằng các ước tính sẽ không được thông báo. (Khi các phản hồi có phân phối Bình thường, điều này ngụ ý các ước tính sẽ độc lập, điều này giúp đơn giản hóa rất nhiều cách giải thích của chúng.)