Giải đoán hình học của nhiều hệ số tương quan

Tôi quan tâm đến ý nghĩa hình học của nhiều tương quan và hệ số xác định trong hồi quy hoặc trong ký hiệu vectơ,R 2 y i = β 1 + β 2 x 2 , i + ⋯ + β k x k , i + ε $R$$R^2$$y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$

$$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$$

Ở đây, ma trận thiết kế có hàng và cột, trong đó cột đầu tiên là , một vectơ 1 tương ứng với phần chặn . n k x 1 = 1 n β $\mathbf{X}$$n$$k$$\mathbf{x}_1 = \mathbf{1}_n$$\beta_1$

Hình học thú vị hơn trong không gian chủ đề chiều hơn là trong không gian biến số . Xác định ma trận mũ:$n$$k$

$$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$$

Đây là một phép chiếu trực giao lên không gian cột của , tức là căn hộ thông qua gốc tọa độ được kéo dài bởi các vectơ đại diện cho mỗi biến , đầu tiên là . Sau đó H dự án vector của quan sát phản ứng y vào "cái bóng" của nó trên bằng phẳng, các vector của các giá trị được trang bị y = H y , và nếu chúng ta nhìn dọc theo con đường của các dự báo chúng ta thấy vector của dư e = y - y$\mathbf{X}$x i 1$k$$\mathbf{x}_i$$\mathbf{1}_n$$\mathbf{H}$$\mathbf{y}$$\mathbf{\hat{y}} = \mathbf{Hy}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$tạo thành cạnh thứ ba của một tam giác. Điều này sẽ cung cấp cho chúng tôi hai tuyến đường để giải thích hình học của $R^2$ :

1. Bình phương của hệ số tương quan nhiều, $R$ , được định nghĩa là sự tương quan giữa $\mathbf{y}$ và y . Điều này sẽ xuất hiện dưới dạng hình học như cosin của một góc.$\mathbf{\hat{y}}$
2. .$SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

Tôi sẽ rất vui mừng khi thấy một tài khoản ngắn gọn giải thích:

• Các chi tiết tốt hơn cho (1) và (2),
• Tại sao (1) và (2) là tương đương,
• Tóm lại, làm thế nào cái nhìn sâu sắc hình học cho phép chúng ta hình dung các thuộc tính cơ bản của , ví dụ tại sao nó lại chuyển sang 1 khi phương sai tạp âm xuống 0. (Rốt cuộc, nếu chúng ta không thể hiểu được từ trực quan hóa của mình thì nó không hơn gì hình ảnh.)$R^2$

Tôi đánh giá cao điều này đơn giản hơn nếu các biến được căn giữa trước, loại bỏ phần chặn khỏi câu hỏi. Tuy nhiên, trong hầu hết các tài khoản sách giáo khoa giới thiệu nhiều hồi quy, ma trận thiết kế như tôi đã trình bày. Tất nhiên sẽ ổn nếu một cuộc triển lãm đi sâu vào không gian được kéo dài bởi các biến trung tâm, nhưng để hiểu sâu hơn về đại số tuyến tính trong sách giáo khoa, sẽ rất hữu ích khi liên hệ lại điều này với những gì xảy ra về mặt hình học trong tình huống không tập trung. Một câu trả lời thực sự sâu sắc có thể giải thích chính xác những gì đang phá vỡ về mặt hình học khi thuật ngữ chặn bị bỏ - tức là khi vectơ 1$\mathbf{X}$$\mathbf{1}_n$ is removed from the spanning set. I don't think this last point can be addressed by considering the centred variables alone.

Nếu có một số hạng không đổi trong mô hình thì nằm trong không gian cột của X (cũng như ˉ Y 1 n , sẽ có ích sau này). Các trang bị Y là chiếu trực giao của các quan sát Y vào căn hộ hình thành bởi không gian cột. Đây có nghĩa là các vector của dư e = y - y vuông góc với mặt phẳng, và do đó để 1 n . Xem xét sản phẩm chấm chúng ta có thể thấy ∑ n i = 1 e i = 0 , vì vậy các thành phần của$\mathbf{1_n}$$\mathbf{X}$$\bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}}$$\mathbf{Y}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$\mathbf{1_n}$$\sum_{i=1}^n e_i = 0$$\mathbf{e}$ must sum to zero. Since $Y_i = \hat{Y_i} + e_i$ we conclude that $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ so that both fitted and observed responses have mean $\bar{Y}$.

The dashed lines in the diagram represent $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ and $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$, which are the centered vectors for the observed and fitted responses. The cosine of the angle $\theta$ between these vectors will therefore be the correlation of $Y$ and $\hat{Y}$, which by definition is the multiple correlation coefficient $R$. The triangle these vectors form with the vector of residuals is right-angled since $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ lies in the flat but $\mathbf{e}$

$$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$$

We could also apply Pythagoras to the triangle:

$$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$$

Which may be more familiar as:

$$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$$

This is the decomposition of the sums of squares, $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$.

The standard definition for the coefficient of determination is:

$$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$$

When the sums of squares can be partitioned, it takes some straightforward algebra to show this is equivalent to the "proportion of variance explained" formulation,

$$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$$

There is a geometric way of seeing this from the triangle, with minimal algebra. The definitional formula gives $R^2 = 1 - \sin^2(\theta)$ and with basic trigonometry we can simplify this to $\cos^2(\theta)$. This is the link between $R^2$ and $R$.

Note how vital it was for this analysis to have fitted an intercept term, so that $\mathbf{1_n}$ was in the column space. Without this, the residuals would not have summed to zero, and the mean of the fitted values would not have coincided with the mean of $Y$. In that case we couldn't have drawn the triangle; the sums of squares would not have decomposed in a Pythagorean manner; $R^2$ would not have had the frequently-quoted form $SS_{\text{reg}}/SS_{\text{total}}$ nor be the square of $R$. In this situation, some software (including R) uses a different formula for $R^2$ altogether.