Sự tương đương của tương quan mẫu và thống kê R cho hồi quy tuyến tính đơn giản

Người ta thường nói rằng bình phương của tương quan mẫu tương đương với hệ số xác định cho hồi quy tuyến tính đơn giản. Tôi đã không thể chứng minh điều này bản thân mình và sẽ đánh giá cao một bằng chứng đầy đủ về thực tế này.$r^2$$R^2$

Dường như có một số thay đổi trong ký hiệu: trong hồi quy tuyến tính đơn giản, tôi thường thấy cụm từ "hệ số tương quan mẫu" với ký hiệu là một tham chiếu đến mối tương quan giữa các giá trị và được quan sát . Đây là ký hiệu tôi đã thông qua cho câu trả lời này. Tôi cũng đã thấy cụm từ và ký hiệu tương tự được sử dụng để chỉ mối tương quan giữa quan sát và trang bị ; trong câu trả lời của tôi, tôi đã gọi này là "hệ số tương quan nhiều" và sử dụng biểu tượng . Câu trả lời này giải quyết tại sao hệ số xác định là cả bình phương của và cũng là bình phương của$r$$x$$y$$y$$\hat y$$R$$r$$R$, vì vậy nó không quan trọng việc sử dụng đã được dự định.

Các kết quả sau trong một dòng của đại số lần một số sự kiện đơn giản về sự tương quan và ý nghĩa của được thành lập, vì vậy bạn có thể thích để bỏ xuống để phương trình đóng hộp. Tôi giả sử chúng ta không phải chứng minh các tính chất cơ bản của hiệp phương sai và phương sai, cụ thể là:$r^2$$R$

$$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$$ $$\text{Var}(aX+b) = a^2\text{Var}(X)$$

Lưu ý rằng cái sau có thể được bắt nguồn từ cái trước, một khi chúng ta biết rằng hiệp phương sai là đối xứng và . Từ đây chúng ta rút ra một thực tế cơ bản khác, về mối tương quan. Đối với và miễn là và có phương sai khác không,$\text{Var}(X)= \text{Cov}(X,X)$$a \neq 0$$X$$Y$

$$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$$

Ở đây là hàm dấu hoặc hàm : giá trị của nó là nếu và nếu . Cũng đúng là nếu , nhưng trường hợp đó không liên quan đến chúng tôi: sẽ là một hằng số, vì vậy in mẫu số và chúng ta không thể tính được mối tương quan. Đối số đối xứng cho phép chúng ta khái quát kết quả này, cho :$\text{sgn}(a)$$\text{sgn}(a) = +1$$a>0$$\text{sgn}(a) = -1$$a<0$$\text{sgn}(a) = 0$$a=0$$aX+b$$\text{Var}(aX+b) = 0$$a, \, c \neq 0$

$$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$$

Chúng ta sẽ không cần công thức chung hơn này để trả lời câu hỏi hiện tại, nhưng tôi bao gồm nó để nhấn mạnh hình dạng của tình huống: nó chỉ đơn giản nói rằng mối tương quan là không thay đổi khi một trong hai biến được thu nhỏ hoặc dịch, nhưng đảo ngược dấu hiệu khi một biến là phản ánh.

Chúng ta cần một thực tế hơn: cho một mô hình tuyến tính bao gồm một thuật ngữ không đổi, hệ số xác định là bình phương của hệ số tương quan nhiều , đó là mối tương quan giữa các câu trả lời quan sát và trang bị của mô hình giá trị . Điều này áp dụng cho cả nhiều và hồi quy đơn giản, nhưng chúng ta hãy hạn chế sự chú ý của chúng tôi để đơn giản tuyến tính mô hình . Kết quả xuất phát từ quan sát rằng là phiên bản thu nhỏ, có thể được phản ánh và được dịch của :$R^2$$R$$Y$$\hat Y$$\hat Y = \hat \beta_0 + \hat \beta_1 X$$\hat Y$$X$

$$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$$

Vì vậy, trong đó dấu hiệu khớp với dấu hiệu của độ dốc ước tính, điều này đảm bảo không bị âm. Rõ ràng .$R = \pm r$$R$$R^2 = r^2$

Đối số trước được thực hiện đơn giản hơn bằng cách không phải xem xét các tổng bình phương. Để đạt được điều này, tôi đã bỏ qua các chi tiết về mối quan hệ giữa , mà chúng ta thường nghĩ về các tổng bình phương và , trong đó chúng ta nghĩ về mối tương quan của các phản ứng được trang bị và quan sát được. Các biểu tượng làm cho mối quan hệ có vẻ như tautological nhưng đây không phải là trường hợp và mối quan hệ bị phá vỡ nếu không có thuật ngữ chặn trong mô hình! Tôi sẽ đưa ra một phác thảo ngắn gọn về một lập luận hình học về mối quan hệ giữa và lấy từ một câu hỏi khác : sơ đồ được vẽ trong chiều không gian chủ đề$R^2$$R$$R^2 = (R)^2$$R$$R^2$$n$, do đó, mỗi trục (không được hiển thị) đại diện cho một đơn vị quan sát và các biến được hiển thị dưới dạng vectơ. Các cột của ma trận thiết kế là vectơ (cho thuật ngữ không đổi) và vectơ quan sát của biến giải thích, vì vậy không gian cột là một mặt phẳng hai chiều.$\mathbf{X}$$\mathbf{1_n}$

Các trang bị là chiếu trực giao của các quan sát vào không gian cột của . Điều này có nghĩa là vectơ của phần dư vuông góc với mặt phẳng và do đó là . Sản phẩm chấm là . Khi phần dư tổng bằng 0 và , thì để cả hai phản ứng được trang bị và quan sát được có nghĩa là . Các đường đứt nét trong sơ đồ, và$\mathbf{\hat{Y}}$$\mathbf{Y}$$\mathbf{X}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$\mathbf{1_n}$$0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$$Y_i = \hat{Y_i} + e_i$$\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$$\bar{Y}$$\mathbf{Y} - \bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ , do đó, là các vectơ trung tâm cho các phản ứng được quan sát và được trang bị, và cosin của góc giữa chúng là tương quan .$\theta$$R$

Tam giác các vectơ này hình thành với vectơ dư là góc vuông vì nằm trong căn hộ nhưng là trực giao với nó. Áp dụng Pythagoras:$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\mathbf{e}$

$$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$$

Đây chỉ là sự phân tách của các tổng bình phương, . Công thức thông thường cho hệ số xác định là mà trong tam giác này là nên thực sự là bình phương của . Bạn có thể quen thuộc hơn với công thức , ngay lập tức cho , nhưng lưu ý rằng mang tính tổng quát hơn và sẽ (như chúng ta vừa thấy) giảm xuống$SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$$1 - \sin^2 \theta = \cos^2 \theta$$R$$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$$\cos^2 \theta$$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$$\frac{SS_{\text{regression}}}{SS_{\text{total}}}$ nếu một thuật ngữ không đổi được bao gồm trong mô hình .

Các được định nghĩa là Hệ số tương quan mẫu bình phương: là tương đương, vì nó được xác minh dễ dàng bằng cách sử dụng: (xem Verbeek , §2.4)$R^2$

$$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$$ $$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$$ $$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$$