Hồi quy tuyến tính: * Tại sao * bạn có thể phân vùng tổng bình phương?

Bài đăng này đề cập đến mô hình hồi quy tuyến tính bivariate, . Tôi đã luôn luôn phân chia tổng số bình phương (SSTO) thành tổng bình phương cho lỗi (SSE) và tổng bình phương cho mô hình (SSR) trên đức tin, nhưng một khi tôi thực sự nghĩ về nó, tôi không hiểu tại sao nó hoạt động ...$Y_i = \beta_0 + \beta_1x_i$

Phần tôi làm hiểu:

$y_i$ : Giá trị quan sát của y

$\bar{y}$ : Giá trị trung bình của tất cả các s được quan sát$y_i$

$\hat{y}_i$ : Giá trị được trang bị / dự đoán của y cho một quan sát đã cho x

$y_i - \hat{y}_i$ : Dư / lỗi (nếu bình phương và thêm vào cho tất cả các quan sát thì đây là SSE)

$\hat{y}_i - \bar{y}$ : Giá trị của mô hình được trang bị khác bao nhiêu so với giá trị trung bình (nếu bình phương và cộng lại cho tất cả các quan sát thì đây là SSR)

$y_i - \bar{y}$ : Giá trị quan sát khác với giá trị trung bình là bao nhiêu (nếu được sửa và cộng lại cho tất cả các quan sát, đây là SSTO).

Tôi có thể hiểu tại sao, đối với một quan sát duy nhất, mà không bình phương bất cứ thứ gì, . Và tôi có thể hiểu tại sao, nếu bạn muốn thêm mọi thứ lên trên tất cả các quan sát, bạn phải bình phương chúng hoặc chúng sẽ cộng thành 0.$(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$

Phần tôi không hiểu là tại sao (ví dụ: SSTO = SSR + SSE). Có vẻ như nếu bạn có một tình huống trong đó , thì , không phải . Tại sao không phải là trường hợp ở đây?$(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$$A = B + C$$A^2 = B^2 + 2BC + C^2$$A^2 = B^2 + C^2$

Có vẻ như nếu bạn có một tình huống trong đó , thì , không phải . Tại sao không phải là trường hợp ở đây?$A = B + C$$A^2 = B^2 + 2BC + C^2$$A^2 = B^2 + C^2$

Về mặt khái niệm, ý tưởng là vì và là trực giao (tức là vuông góc).$BC = 0$$B$$C$

---

Trong bối cảnh hồi quy tuyến tính ở đây, phần dư là trực giao với dự báo hạ thấp . Dự báo từ hồi quy tuyến tính tạo ra phân rã trực giao của theo nghĩa tương tự như là phân rã trực giao.$\epsilon_i = y_i - \hat{y}_i$$\hat{y}_i - \bar{y}$$\mathbf{y}$$(3,4) = (3,0) + (0,4)$

Phiên bản đại số tuyến tính:

Để cho:

$$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$$

Hồi quy tuyến tính (có hằng số bao gồm) phân tách thành tổng của hai vectơ: dự báo và dư$\mathbf{z}$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon}$

$$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$$

Hãy biểu thị sản phẩm chấm . (Nói chung, có thể là sản phẩm bên trong .)$\langle .,. \rangle$$\langle X,Y \rangle$ $E[XY]$

$$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$$

Trường hợp dòng cuối cùng xuất phát từ thực tế là (nghĩa là và là trực giao). Bạn có thể chứng minh và là trực giao dựa trên cách xây dựng hồi quy bình phương nhỏ nhất bình thường .$\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon}$$\hat{\mathbf{z}}$

$\hat{\mathbf{z}}$ là hình chiếu tuyến tính của lên không gian con được xác định bởi khoảng tuyến tính của các biến hồi quy , , v.v .... dư là trực giao với toàn bộ không gian con do đó (nằm trong khoảng của , , v.v ...) là trực giao với .$\mathbf{z}$$\mathbf{x}_1$$\mathbf{x}_2$$\boldsymbol{\epsilon}$$\hat{\mathbf{z}}$$\mathbf{x}_1$$\mathbf{x}_2$$\boldsymbol{\epsilon}$

---

Lưu ý rằng như tôi đã định nghĩa là sản phẩm chấm, chỉ đơn giản là một cách viết khác (tức là SSTO = SSR + SSE)$\langle .,.\rangle$$\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$$\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$

Toàn bộ điểm cho thấy rằng các vectơ nhất định là trực giao và sau đó sử dụng định lý Pythagore.

Chúng ta hãy xem xét hồi quy tuyến tính đa biến . Chúng tôi biết rằng công cụ ước tính OLS là . Bây giờ hãy xem xét ước tính$Y = X\beta + \epsilon$$\hat{\beta} = (X^tX)^{-1}X^tY$

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ (Ma trận H còn được gọi là ma trận "mũ")

Trong đó là ma trận chiếu trực giao của Y lên . Bây giờ chúng tôi có$H$$S(X)$

$Y - \hat{Y} = Y - HY = (I - H)Y$

trong đó là ma trận chiếu lên phần bù trực giao của là . Do đó, chúng ta biết rằng và là trực giao.$(I-H)$$S(X)$$S^{\bot}(X)$$Y-\hat{Y}$$\hat{Y}$

Bây giờ hãy xem xét một mô hình con$Y = X_0\beta_0 + \epsilon$

trong đó và tương tự, chúng tôi có công cụ ước tính OLS và ước tính và với ma trận chiếu lên . Tương tự như vậy, chúng ta có và là trực giao. Và bây giờ$X = [X_0 | X_1 ]$$\hat{\beta_0}$$\hat{Y_0}$$H_0$$S(X_0)$$Y - \hat{Y_0}$$\hat{Y_0}$

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

trong đó một lần nữa là ma trận chiếu trực giao trên phần bù của là . Do đó, chúng ta có tính trực giao của và . Vì vậy, cuối cùng chúng ta có$(I-H_0)$$S(X_0)$$S^{\bot}(X_0)$$\hat{Y} - \hat{Y_0}$$\hat{Y_0}$

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

và cuối cùng$||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

Cuối cùng, trung bình chỉ đơn giản là khi xem xét mô hình null .$\bar{Y}$$\hat{Y_0}$$Y = \beta_0 + e$