mối quan hệ giữa của hồi quy đơn giản và hồi quy bội

10

Một câu hỏi rất cơ bản liên quan đến hồi quy của OLS $R^2$

chạy hồi quy OLS y ~ x1, chúng ta có , giả sử 0,3 $R^2$
chạy hồi quy OLS y ~ x2, chúng ta có , giả sử 0,4 $R^2$
bây giờ chúng ta chạy hồi quy y ~ x1 + x2, giá trị R của hồi quy này có thể là giá trị nào?

Tôi nghĩ rằng rõ ràng cho hồi quy bội sẽ không dưới 0,4, nhưng liệu nó có thể lớn hơn 0,7 không? $R^2$

— Olivier Ma
nguồn

2

Gợi ý: Nó có thể cao tới 1.0. Tại sao? (Nghĩ về mặt hình học. Hoặc, thậm chí cụ thể, về vòng tròn đơn vị.)

— Hồng y

stats.stackexchange.com/questions3531200 / Mạnh

— StubbornAtom

4

Hồi quy thứ hai có thể chỉ đơn giản là bù cho những gì đầu tiên không quản lý để giải thích trong biến phụ thuộc. Dưới đây là một ví dụ bằng số:

Tạo x1như một hồi quy chuẩn thông thường, cỡ mẫu 20. Không mất tính tổng quát, hãy lấy , trong đó là . Bây giờ, hãy lấy biến hồi quy thứ hai đơn giản là sự khác biệt giữa biến phụ thuộc và biến hồi quy thứ nhất. $y_i=0.5x_{1i}+u_i$ $u_i$ $N(0,1)$ x2

n <- 20 
x1 <- rnorm(n)

y <- .5*x1 + rnorm(n)

x2 <- y - x1
summary(lm(y~x1))$r.squared
summary(lm(y~x2))$r.squared
summary(lm(y~x1+x2))$r.squared

— Christoph Hanck
nguồn

cảm ơn! Tôi đã hiểu sai về bình phương r. Tôi nghĩ rằng nếu x1 + x2 = ysau đó summary(lm(y~x1))$r.squared + summary(lm(y~x2))$r.squarednên không ít hơn 1. nhưng rõ ràng tôi đã sai ..

— Olivier Ma

3

Khác với giới hạn dưới, là 0,3 hoặc 0,4 tùy thuộc vào biến nào được đưa vào mô hình trước, bạn không thể nói gì nhiều. Bao nhiêu tăng phần lớn phụ thuộc vào thông tin mà biến thứ hai mang vào mô hình. Theo thông tin, tất nhiên chúng tôi có nghĩa là sự thay đổi được giải thích trong phản ứng. $R^2$

Có một khái niệm rất quan trọng trong vấn đề đó và đó là mối tương quan giữa các yếu tố dự đoán. Nếu tương quan là lớn, biến mới sẽ không chỉ không mang lại điều gì cho mô hình mà còn làm phức tạp suy luận cho các biến hiện tại của bạn, vì các ước tính sẽ trở nên không chính xác (tính đa hình). Đây là lý do chúng tôi lý tưởng muốn biến mới là trực giao với các biến khác. Cơ hội rất nhỏ để điều này xảy ra trong các nghiên cứu quan sát, nhưng nó có thể được thực hiện trong các cài đặt được kiểm soát, ví dụ như khi bạn đang xây dựng thử nghiệm của riêng mình.

Nhưng làm thế nào để bạn định lượng chính xác thông tin mới mà một biến sẽ mang lại cho mô hình? Một biện pháp được sử dụng rộng rãi mà sẽ đưa tất cả những tính là các phần $R^2$ . Nếu bạn đã quen thuộc với ANOVA của mô hình tuyến tính, thì điều này không gì khác hơn là việc giảm tỷ lệ trong Sum Sum bình phương lỗi mà bạn sẽ thực hiện bằng cách đưa biến này vào mô hình của mình. Tỷ lệ phần trăm cao là mong muốn trong khi những người thấp có thể sẽ khiến bạn suy nghĩ liệu đây có phải là hành động đúng đắn hay không.

Vì vậy, như @cardinal đã chỉ ra trong các nhận xét, hệ số xác định mới của bạn có thể lên tới 1. Nó cũng có thể thấp đến 0.400001. Không có cách nào để nói mà không có thông tin bổ sung.

— JohnK
nguồn

@ John, bạn có phiền giải thích thêm tại sao nó cần phải lớn hơn 0,4 không? Giải thích hình học của hồi quy sẽ giúp ở đây?

— Dnaiel

@Dnaiel Hệ số xác định là không tăng đối với số lượng biến trong mô hình.

— JohnK

3

Hệ số xác định trong hồi quy tuyến tính bội: Trong hồi quy tuyến tính bội, hệ số xác định có thể được viết theo các tương quan cặp cho các biến sử dụng dạng bậc hai:

R^{2} = r_{y, x}^{T} r_{x, x}^{- 1} r_{y, x},

$R^2 = \boldsymbol{r}_{\mathbf{y},\mathbf{x}}^\text{T} \boldsymbol{r}_{\mathbf{x},\mathbf{x}}^{-1} \boldsymbol{r}_{\mathbf{y},\mathbf{x}},$

trong đó là vectơ tương quan giữa vectơ phản hồi và từng vectơ giải thích và là ma trận tương quan giữa các vectơ giải thích (để biết thêm về điều này, hãy xem câu hỏi liên quan này ). Trong trường hợp hồi quy bivariate bạn có: $\boldsymbol{r}_{\mathbf{y},\mathbf{x}}$ $\boldsymbol{r}_{\mathbf{x},\mathbf{x}}$

\begin{aligned} R^{2} & = = {[\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}]}^{T} {[\begin{matrix} 1 & r_{X_{1}, X_{2}} \\ r_{X_{1}, X_{2}} & 1 \end{matrix}]}^{- 1} [\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}] \\ = = \frac{1}{1 - r_{X_{1}, X_{2}}^{2}} {[\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}]}^{T} [\begin{matrix} 1 & - r_{X_{1}, X_{2}} \\ - r_{X_{1}, X_{2}} & 1 \end{matrix}] [\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}] \\ = = \frac{1}{1 - r_{X_{1}, X_{2}}^{2}} (r_{Y, X_{1}}^{2} + r_{Y, X_{2}}^{2} - 2 r_{X_{1}, X_{2}} r_{Y, X_{1}} r_{Y, X_{2}}) . \end{aligned}

$\begin{equation} \begin{aligned} R^2 &= \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & r_{X_1,X_2} \\[6pt] r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix}^{-1} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & -r_{X_1,X_2} \\[6pt] -r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} ( r_{Y,X_1}^2 + r_{Y,X_2}^2 - 2 r_{X_1,X_2} r_{Y,X_1} r_{Y,X_2} ). \end{aligned} \end{equation}$

Bạn đã không chỉ định hướng của các mối tương quan đơn biến trong câu hỏi của mình, vì vậy, không mất tính tổng quát, chúng tôi sẽ biểu thị . Thay thế các giá trị của bạn và mang lại: $D \equiv \text{sgn} (r_{Y,X_1}) \cdot \text{sgn} (r_{Y,X_2}) \in \{ -1, +1 \}$ $r_{Y,X_1}^2 = 0.3$ $r_{Y,X_2}^2 = 0.4$

R^{2} = = \frac{0,7 - 2 \sqrt{0,12} \cdot D \cdot r_{X_{1}, X_{2}}}{1 - r_{X_{1}, X_{2}}^{2}} .

$R^2 = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_1,X_2}}{1-r_{X_1,X_2}^2}.$

Có thể cho , vì có thể thông tin kết hợp từ hai biến sẽ nhiều hơn tổng các phần của nó. Hiện tượng thú vị này được gọi là 'tăng cường' (xem ví dụ, Lewis và Escobar 1986 ). $R^2 > 0.7$

— Ben - Phục hồi Monica
nguồn