Tại sao độ dốc luôn chính xác 1 khi hồi quy các lỗi trên phần dư bằng OLS?

Tôi đã thử nghiệm mối quan hệ giữa các lỗi và phần dư bằng một số mô phỏng đơn giản trong R. Một điều tôi đã tìm thấy là, bất kể kích thước mẫu hay phương sai lỗi, tôi luôn nhận được chính xác độ dốc khi bạn khớp với mô hình$1$

$${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$$

Đây là mô phỏng tôi đang làm:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

evà rcó mối tương quan cao (nhưng không hoàn hảo), ngay cả đối với các mẫu nhỏ, nhưng tôi không thể hiểu tại sao điều này tự động xảy ra. Một lời giải thích toán học hoặc hình học sẽ được đánh giá cao.

Câu trả lời của whuber là tuyệt vời! (+1) Tôi đã giải quyết vấn đề bằng cách sử dụng ký hiệu quen thuộc nhất với tôi và nhận ra đạo hàm (ít thú vị hơn, thường xuyên hơn) có thể đáng để đưa vào đây.

Đặt là mô hình hồi quy, cho và tiếng ồn. Khi đó hồi quy của so với các cột của có phương trình bình thường mang lại ước tínhDo đó, hồi quy có phần dư với .X ∈ R n × p ε y X X T ( y - X β ) = 0 , β = ( X T X ) - 1 X T y . r = y - X β = ( I - H ) y = ( I - $y = X \beta^* + \epsilon$$X \in \mathbb{R}^{n \times p}$$\epsilon$$y$$X$$X^T\left(y - X \hat\beta\right) = 0,$

$$\hat\beta = \left(X^T X \right)^{-1} X^T y.$$ $$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$$ $H = X (X^T X)^{-1} X^T$

Hồi quy trên dẫn đến độ dốc ước tính được đưa ra bởi vì là đối xứng và idempotent và gần như chắc chắn.$\epsilon$$r$ tôi-Hε∉im(X

$$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$$ $I-H$$\epsilon \not\in \mathrm{im}(X)$

Hơn nữa, đối số này cũng đúng nếu chúng ta bao gồm một phần tử chặn khi chúng ta thực hiện hồi quy các lỗi trên phần dư nếu một phần tử chặn được đưa vào hồi quy ban đầu, vì các hiệp phương sai là trực giao (tức là , từ các phương trình bình thường ).$1^T r = 0$

Không mất bất kỳ tính khái quát (hoặc thực tế) nào, trước tiên hãy loại bỏ hằng số khỏi các biến như được mô tả tại Làm thế nào chính xác một "điều khiển cho các biến khác" . Đặt là biến hồi quy, là lỗi, phản hồi, ước lượng bình phương nhỏ nhất của và phần dư. Tất cả các vectơ này nằm trong cùng một mặt phẳng, cho phép chúng ta vẽ hình ảnh của chúng. Tình huống có thể được hiển thị như thế này, trong đó chỉ định nguồn gốc:$x$$e$$Y=\beta x + e$$b$$\beta$$r = Y - bx$$O$

Bức ảnh này được xây dựng bắt đầu với , sau đó thêm các lỗi để sản xuất . Độ cao sau đó được thả xuống căn cứ, đáp ứng nó ở mức ước lượng bình phương nhỏ nhất . Rõ ràng độ cao là vectơ dư và do đó đã được dán nhãn .$\beta x$$e$$Y$$bx$$Y-bx$$r$

Cơ sở của tam giác song song với vectơ hồi quy . Độ cao của các cạnh và là độ cao của chính tam giác. Theo định nghĩa, phần dư vuông góc với cơ sở: do đó, khoảng cách từ cơ sở có thể được tìm thấy bằng cách chiếu lên . Do đó, độ cao của tam giác có thể được tìm thấy theo bất kỳ một trong ba cách sau: hồi quy so với (tìm chiều cao của ); hồi quy so với (tìm chiều cao của ) hoặc hồi quy so với (tìm chiều cao của$x$$OY$$(\beta x)Y$$r$$r$$Y$$r$$Y$$e$$r$$e$$r$$r$$r$ ). Tất cả ba giá trị đều phải bằng nhau (như bạn có thể kiểm tra bằng cách chạy các hồi quy này). Cái sau rõ ràng là , QED .$1$

---

Đối với những người thích đại số, chúng tôi có thể chuyển đổi phân tích hình học này thành một minh họa đại số thanh lịch. Đơn giản chỉ cần quan sát rằng , và đều là modulo đồng dạng không gian con được tạo bởi . Do đó, chúng phải có các hình chiếu bằng nhau vào bất kỳ không gian trực giao nào với , chẳng hạn như hình chiếu được tạo bởi , trong đó hình chiếu của có hệ số , QED . (Theo thống kê, chúng tôi chỉ đơn giản là "lấy ra" thành phần của trong cả ba biểu thức, để lại trong mỗi trường hợp.)e = r + ( β - b ) x Y = e + β x = r + ( 2 β - b ) x x x r r 1 x $r$$e=r+(\beta-b)x$$Y=e+\beta x = r + (2\beta-b)x$$x$$x$$r$$r$$1$$x$$r$