Trong hồi quy tuyến tính đa biến, tại sao một biểu đồ các điểm dự đoán không nằm trên một đường thẳng?

Tôi đang sử dụng nhiều hồi quy tuyến tính để mô tả mối quan hệ giữa Y và X1, X2.

Từ lý thuyết tôi đã hiểu rằng nhiều hồi quy giả định mối quan hệ tuyến tính giữa Y và mỗi X (Y và X1, Y và X2). Tôi không sử dụng bất kỳ chuyển đổi nào của X.

Vì vậy, tôi đã nhận được mô hình với R = 0,45 và tất cả X đáng kể (P <0,05). Sau đó, tôi âm mưu Y chống lại X1. Tôi không hiểu tại sao các vòng tròn màu đỏ là dự đoán của mô hình không tạo thành một đường. Như tôi đã nói trước đây, tôi dự đoán rằng mỗi cặp Y và X được lắp bởi một đường.

Cốt truyện được tạo ra trong python theo cách này:

fig, ax = plt.subplots()
plt.plot(x['var1'], ypred, 'o', validation['var1'], validation['y'], 'ro');
ax.set_title('blue: true,   red: OLS')
ax.set_xlabel('X')
ax.set_ylabel('Y')
plt.show()

Giả sử phương trình hồi quy bội của bạn là

nơi y có nghĩa là "dự đoán y ".$\hat y$$y$

Bây giờ chỉ lấy những điểm mà . Sau đó, nếu bạn vẽ y chống lại x 1 , những điểm này sẽ thỏa mãn phương trình:$x_2 = 1$$\hat y$$x_1$

Vì vậy, họ phải nằm trên một đường dốc 2 và với intercept 8.$y$

Bây giờ lấy những điểm mà . Khi bạn vẽ y chống lại x 1 , sau đó những điểm thoả mãn:$x_2 = 2$$\hat y$$x_1$

Vì vậy, đó là một đường dốc 2 và với intercept 13. Bạn có thể tự xác minh rằng nếu x 2 = 3 thì bạn nhận được một đường dốc 2 khác và y- intercept là 18.$y$$x_2=3$$y$

Chúng ta thấy rằng các điểm có giá trị khác nhau của sẽ nằm trên các đường khác nhau, nhưng tất cả đều có cùng độ dốc: ý nghĩa của hệ số 2 x 1 trong phương trình hồi quy ban đầu là, ceteris paribus tức là giữ hằng số dự đoán khác, một đơn vị tăng x 1 tăng dự đoán trung bình phản ứng y bởi hai đơn vị, trong khi ý nghĩa của đánh chặn của 3 trong phương trình hồi quy là khi x 1 = 0 và x 2 = 0 thì phản ứng trung bình dự đoán là $x_2$$2x_1$$x_1$$\hat y$$3$$x_1 = 0$$x_2 = 0$$3$. Nhưng không phải tất cả các điểm của bạn đều có cùng , điều đó có nghĩa là chúng nằm trên các đường có một phần chặn khác nhau - dòng đó chỉ có khả năng chặn 3 đối với những điểm mà x 2 = 0 . Vì vậy, thay vì nhìn thấy một dòng duy nhất, bạn có thể thấy (nếu chỉ có một số giá trị nhất định của x 2 xảy ra, ví dụ nếu x 2 luôn là số nguyên), một chuỗi các "đường chéo" chéo. Hãy xem xét các dữ liệu sau, nơi y = 2 x 1 + 5 x 2 + 3 .$x_2$$3$$x_2=0$$x_2$$x_2$$\hat y = 2 x_1 + 5 x_2 + 3$

Ở đây có những "vệt" dễ nhận biết. Bây giờ nếu tôi tô màu ở những điểm mà là các vòng tròn màu đỏ, x 2 = 2 là các hình tam giác vàng và x 2 = 3 là các hình vuông màu xanh, chúng ta thấy chúng nằm trên ba đường thẳng khác nhau, tất cả đều có độ dốc 2 và y- inter accept 8, 13 và 18 như đã tính ở trên. Tất nhiên, nếu x 2 không bị hạn chế lấy các giá trị nguyên hoặc tình huống phức tạp do các biến dự đoán khác được đưa vào hồi quy, thì vệt chéo sẽ ít rõ ràng hơn, nhưng vẫn sẽ là trường hợp mà mỗi điểm dự đoán nằm trên một dòng riêng biệt$x_2=1$$x_2=2$$x_2=3$$y$$x_2$dựa trên các giá trị của các yếu tố dự đoán khác không được hiển thị trên biểu đồ .

$y$$x_1$$x_2$$\hat y = 2 x_1 + 5 x_2 + 3$$y$$x_1$$x_2$$y$$x_1$-axis chỉ về phía bên phải của bạn.

$y$$y$

$\hat y$$x_1$$x_2$$x_2$$\hat y$$x_1$$x_2$$y$$x_1$ $x_2$$y$$x_1$

Mã cho các ô R

library(scatterplot3d)

data.df <- data.frame(
  x1 = c(0,2,4,5,8, 1,3,4,7,8, 0,3,5,6,7),
  x2 = c(1,1,1,1,1, 2,2,2,2,2, 3,3,3,3,3)
)

data.df$yhat <- with(data.df, 2*x1 + 5*x2 + 3)

data1.df <- data.df[data.df$x2==1,]
data2.df <- data.df[data.df$x2==2,]
data3.df <- data.df[data.df$x2==3,]

#Before lines added    
mar.default <- c(5,4,4,2) + 0.1
par(mar = mar.default + c(0, 1, 0, 0)) 
plot(data.df[c("x1","yhat")], main=expression("Predicted y against "*x[1]),
     xlab=expression(x[1]), ylab=expression(hat(y)))

#After lines added
plot(data.df[c("x1","yhat")], main=expression("Predicted y against "*x[1]),
     xlab=expression(x[1]), ylab=expression(hat(y)), pch=".")
points(data1.df[c("x1","yhat")], pch=19, col="red")
abline(lm(yhat ~ x1, data=data1.df), col="red")
points(data2.df[c("x1","yhat")], pch=17, col="gold")
abline(lm(yhat ~ x1, data=data2.df), col="gold")
points(data3.df[c("x1","yhat")], pch=15, col="blue")
abline(lm(yhat ~ x1, data=data3.df), col="blue")

#3d plot
myPlot <- scatterplot3d(data.df, pch=".", xlab=expression(x[1]),
                        ylab=expression(x[2]), zlab=expression(hat(y)),
                        main=expression("Predicted y against "*x[1]*" and "*x[2]))
myPlot$plane3d(Intercept=3, x.coef=2, y.coef=5, col="darkgrey")
myPlot$points3d(data1.df, pch=19, col="red")
myPlot$points3d(data2.df, pch=17, col="gold")
myPlot$points3d(data3.df, pch=15, col="blue")
print(myPlot)