Tại sao phần dư trong hồi quy tuyến tính luôn luôn bằng 0 khi bao gồm một phần chặn?

Tôi đang tham gia một khóa học về các mô hình hồi quy và một trong những đặc tính được cung cấp cho hồi quy tuyến tính là phần dư luôn luôn bằng 0 khi bao gồm một phần chặn.

Ai đó có thể cung cấp một lời giải thích tốt cho lý do tại sao đây là trường hợp?

Điều này diễn ra trực tiếp từ các phương trình bình thường, tức là các phương trình mà công cụ ước tính OLS giải quyết,

$$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$$

Tất nhiên, vectơ bên trong dấu ngoặc đơn là vectơ dư hoặc hình chiếu của lên phần bù trực giao của không gian cột của X , nếu bạn thích đại số tuyến tính. Bây giờ bao gồm một vectơ của các ma trận trong ma trận X , bằng cách này, không phải ở cột đầu tiên như được thực hiện theo quy ước, dẫn đến$\mathbf{y}$$X$$\mathbf{X}$

$$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$$

Trong bài toán hai biến, điều này thậm chí còn đơn giản hơn để xem, vì tối thiểu hóa tổng số dư bình phương đưa chúng ta đến

$$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$$

khi chúng ta lấy đạo hàm liên quan đến đánh chặn. Từ đó, chúng tôi tiến hành lấy công cụ ước tính quen thuộc

$$a = \bar{y} - b \bar{x}$$

một lần nữa chúng ta thấy rằng việc xây dựng các công cụ ước tính của chúng ta áp đặt điều kiện này.

Trong trường hợp bạn đang tìm kiếm một lời giải thích khá trực quan.

Trong một số ý nghĩa, mô hình hồi quy tuyến tính không có gì ngoài một ý nghĩa ưa thích. Để tìm giá trị trung bình số học $\bar{x}$ trên một số giá trị $x_1, x_2, \dots, x_n$ , chúng tôi tìm một giá trị là số đo trung tâm theo nghĩa là tổng của tất cả các độ lệch (trong đó mỗi độ lệch được xác định là $u_i = x_i - \bar{x}$) ở bên phải của giá trị trung bình bằng tổng của tất cả các độ lệch ở bên trái của giá trị trung bình đó. Không có lý do cố hữu tại sao biện pháp này là tốt, chứ chưa nói đến cách tốt nhất để mô tả giá trị trung bình của một mẫu, nhưng nó chắc chắn là trực quan và thực tế. Điểm quan trọng là, bằng cách xác định trung bình số học theo cách này, nó nhất thiết phải tuân theo rằng một khi chúng ta xây dựng trung bình số học, tất cả các sai lệch so với trung bình đó phải bằng 0 theo định nghĩa!

Trong hồi quy tuyến tính, điều này không khác. Chúng phù hợp với những dòng như vậy mà tổng của tất cả sự khác biệt giữa các giá trị của chúng tôi được trang bị (nếu phù hợp với đường hồi quy) và các giá trị thực tế mà là ở trên đường là chính xác bằng tổng của tất cả sự khác nhau giữa đường hồi quy và tất cả các giá trị bên dưới các hàng. Một lần nữa, không có lý do cố hữu, tại sao đây là cách tốt nhất để xây dựng sự phù hợp, nhưng nó đơn giản và hấp dẫn bằng trực giác. Cũng giống như với trung bình số học: bằng cách xây dựng các giá trị được trang bị của chúng tôi theo cách này, nó nhất thiết phải tuân theo, bằng cách xây dựng, rằng tất cả các sai lệch từ dòng đó phải bằng 0 nếu không đây sẽ không phải là một suy thoái OLS.

Khi chặn được bao gồm trong nhiều hồi quy tuyến

$$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$$ Trong hình vuông hồi quy Least, tổng của bình phương của các lỗi được giảm thiểu. $$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$$ Lấy đạo hàm riêng của SSE tương ứng với$\beta_0$ và đặt nó về 0. $$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$$ Do đó, phần dư luôn luôn bằng 0 khi chặn được đưa vào hồi quy tuyến tính.

A key observation is that because the model has intercept, $1$, which is the first column of design matrix $X$, can be written as

$$1 = Xe,$$ where $e$ is a column vector with all zeros but the first component one. Also note, in matrix notation, the sum of residuals is just $1^T(y - \hat{y})$.

Therefore,

$$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$$

A simple derivation using matrix algebra:

$\sum e$ can be written as $1^Te$

Then

$1^Te = 1^T(M_x y)$ where $M_x$ is the orthogonal matrix. Since $M_x$ is symmetric we can rearrange so that $(M_x1)^Ty$

which equals zero if $M_x$ and $1$ are orthogonal, which is the case if the matrix of the regressors $x$ contains the intercept (a vector of $1$, indeed).

1. $e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
2. $\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ so $\hat{a} = \frac{1}{n}\sum v_i$
3. $\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..