Hiểu hình dạng của khoảng tin cậy cho hồi quy đa thức (MLR)

Tôi gặp khó khăn để nắm bắt hình dạng của khoảng tin cậy của hồi quy đa thức.

Dưới đây là một ví dụ nhân $\hat{Y}=a+b\cdot X+c\cdot X^2$ . Hình bên trái mô tả UPV (phương sai dự đoán không được tính toán) và biểu đồ bên phải hiển thị khoảng tin cậy và các điểm đo (nhân tạo) tại X = 1,5, X = 2 và X = 3.

Chi tiết về dữ liệu cơ bản:

• bộ dữ liệu bao gồm ba điểm dữ liệu (1,5; 1), (2; 2,5) và (3; 2,5).

• mỗi điểm được "đo" 10 lần và mỗi giá trị đo được thuộc về . Một MLR với mô hình poynomial đã được thực hiện trên 30 điểm kết quả.$y \pm 0.5$

• khoảng tin cậy được tính bằng các công thức và (cả hai công thức được lấy từ Myers, Montgomery, Anderson-Cook, "Phương pháp phản ứng bề mặt" phiên bản thứ tư, trang 407 và 34)

  $$UPV=\frac{Var[\hat{y}(x_0)]}{\hat{\sigma}^2}=x_0'(X'X)^{-1}x_0$$ $$\hat{y}(x_0) - t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0}$$ $$\leq \mu_{y|x_0} \leq \hat{y}(x_0) + t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0} .$$

$t_{\alpha /2, df(error)}=2$ và .$\hat{\sigma}^2=MSE=SSE/(n-p)\sim0.075$

Tôi không đặc biệt quan tâm đến các giá trị tuyệt đối của khoảng tin cậy, mà là hình dạng của UPV chỉ phụ thuộc vào .$x_0'(X'X)^{-1}x_0$

Hình 1:

• phương sai dự đoán rất cao bên ngoài không gian thiết kế là bình thường bởi vì chúng ta đang ngoại suy

• nhưng tại sao phương sai nhỏ hơn giữa X = 1,5 và X = 2 so với các điểm đo được?

• và tại sao phương sai trở nên rộng hơn đối với các giá trị trên X = 2 nhưng sau đó giảm dần sau X = 2.3 để trở lại nhỏ hơn so với điểm đo tại X = 3?

Sẽ không hợp lý khi phương sai là nhỏ trên các điểm đo và lớn giữa chúng?

Chỉnh sửa: cùng một quy trình nhưng với các điểm dữ liệu [(1.5; 1), (2.25; 2.5), (3; 2.5)] và [(1.5; 1), (2; 2.5), (2.5; 2.2), (3; 2,5)].

Hình 2:

Hình 3:

Điều thú vị cần lưu ý là trên hình 1 và 2, UPV trên Điểm chính xác bằng 1. Điều này có nghĩa là khoảng tin cậy sẽ chính xác bằng . Với số điểm tăng dần (hình 3), chúng ta có thể nhận được các giá trị UPV trên các điểm đo nhỏ hơn 1.$\hat{y} \pm t_{\alpha /2, df(error)}\cdot \sqrt{MSE}$

Hai cách chính để hiểu hiện tượng hồi quy như vậy là đại số --by thao tác các phương trình và công thức bình thường cho giải pháp của chúng - và hình học. Đại số, như minh họa trong chính câu hỏi, là tốt. Nhưng có một số công thức hình học hữu ích của hồi quy. Trong trường hợp này, hình dung dữ liệu trong không gian cung cấp cái nhìn sâu sắc( x , x 2 , y $(x,y)$$(x,x^2,y)$ mà nếu không có thể khó khăn để đi qua.

Chúng ta phải trả giá khi cần phải nhìn vào các vật thể ba chiều, điều này rất khó thực hiện trên màn hình tĩnh. (Tôi thấy hình ảnh xoay vô tận gây khó chịu và vì vậy sẽ không gây ra bất kỳ hình ảnh nào cho bạn, mặc dù chúng có thể hữu ích.) Vì vậy, câu trả lời này có thể không hấp dẫn mọi người. Nhưng những người sẵn sàng thêm chiều thứ ba với trí tưởng tượng của họ sẽ được khen thưởng. Tôi đề nghị giúp bạn trong nỗ lực này bằng một số đồ họa được lựa chọn cẩn thận.

Hãy bắt đầu bằng cách hình dung các biến độc lập . Trong mô hình hồi quy bậc hai

hai thuật ngữ và có thể khác nhau giữa các quan sát: chúng là các biến độc lập . Chúng ta có thể vẽ tất cả các cặp theo thứ tự( x 2 i$(x_i)$$(x_i^2)$$(x_i,x_i^2)$$x$$x^2.$$(t,t^2):$

$(x,x^2)$

Hồi quy bậc hai phù hợp với một mặt phẳng cho các điểm này.

$(\beta_0,\beta_1,\beta_2),$$(x,x^2,y)$$(1)$$-\beta_1(x)-\beta_2(x^2)+(1)y-\beta_0,$$(-\beta_1,-\beta_2,1).$$\beta_1=-55/8$$\beta_2=15/2,$$1,$$(x,x^2)$ máy bay.)

Dưới đây là mặt phẳng hình vuông nhỏ nhất được trang bị cho các điểm sau:

$y=f(x,x^2),$$(t,t^2)$

$x$$y$$x^2$

$(x,\hat y)$$\hat y$$x.$

Dải tin cậy cho đường cong được trang bị này mô tả những gì có thể xảy ra với sự phù hợp khi các điểm dữ liệu được thay đổi ngẫu nhiên. Không thay đổi quan điểm, tôi đã vẽ năm mặt phẳng được trang bị (và các đường cong được nâng lên của chúng) thành năm bộ dữ liệu mới độc lập (trong đó chỉ có một mặt phẳng được hiển thị):

$x \approx 1.75$$x \approx 3.$

Chúng ta hãy nhìn vào điều tương tự bằng cách di chuột lên trên ô ba chiều và nhìn xuống dưới và dọc theo trục chéo của mặt phẳng. Để giúp bạn thấy các mặt phẳng thay đổi như thế nào, tôi cũng đã nén kích thước dọc.

$(t,t^2)$$(x,x^2).$

$(x_i,x_i^2)$$\mathcal L$$(x,x^2)$$(x,x^2)$$(x,x^2)$$\mathcal L.$

$\mathcal L$$t\to(t,t^2)$$\mathcal L$$x$$1.7$$2.9$

$(x,y)$

Phân tích này về mặt khái niệm áp dụng cho hồi quy đa thức mức độ cao hơn, cũng như cho hồi quy bội nói chung. Mặc dù chúng ta không thể thực sự "nhìn thấy" nhiều hơn ba chiều, toán học về hồi quy tuyến tính đảm bảo rằng trực giác xuất phát từ các ô hai và ba chiều của loại được hiển thị ở đây vẫn chính xác ở các chiều cao hơn.

Trực giác

Trong một ý nghĩa rất trực quan và thô ráp, bạn có thể thấy đường cong đa thức khi hai đường cong tuyến tính được khâu lại với nhau (một tăng một giảm). Đối với các đường cong tuyến tính, bạn có thể nhớ hình dạng hẹp ở trung tâm .

Các điểm bên trái của đỉnh có ảnh hưởng tương đối ít đến các dự đoán ở bên phải của đỉnh và ngược lại.

• Vì vậy, bạn có thể mong đợi hai vùng hẹp ở cả hai phía của đỉnh (trong đó những thay đổi về độ dốc của cả hai bên có tác dụng tương đối ít).

• Vùng xung quanh đỉnh tương đối không chắc chắn hơn vì sự thay đổi độ dốc của đường cong có tác động lớn hơn ở vùng này. Bạn có thể vẽ nhiều đường cong với sự dịch chuyển lớn của đỉnh mà vẫn đi một cách hợp lý qua các điểm đo

Hình minh họa

Dưới đây là một minh họa với một số dữ liệu khác nhau, cho thấy dễ dàng hơn cách thức mẫu này (bạn có thể nói là một nút thắt đôi) có thể phát sinh:

set.seed(1)
x <- c(rep(c(-6, -5, 6, 5), 5))
y <- 0.2*x^2 + rnorm(20, 0, 1)
plot(x, y, 
     ylim=c(-10,30), xlim=c(-10,10),
     pch=21, col=1, bg=1, cex=0.3)

data    = list(y=y,           x=x,                x2=x^2)
newdata = list(y=rep(0,3001), x=seq(-15,15,0.01), x2=seq(-15,15,0.01)^2  )

model <- lm(y~1+x+x2, data=data)
predictions = predict(model, newdata = newdata, interval="predict")
lines(newdata$x, predictions[,1])
lines(newdata$x, predictions[,2], lty=2)
lines(newdata$x, predictions[,3], lty=2)

Chính thức

<sup>$x$

$x$</sup>