Tại sao hồi quy đa thức được coi là trường hợp đặc biệt của hồi quy tuyến tính bội?

38

Nếu mô hình hồi quy đa thức mô hình các mối quan hệ phi tuyến tính, làm thế nào nó có thể được coi là một trường hợp đặc biệt của hồi quy tuyến tính bội?

Wikipedia lưu ý rằng "Mặc dù hồi quy đa thức phù hợp với mô hình phi tuyến với dữ liệu, vì vấn đề ước lượng thống kê là tuyến tính, theo nghĩa là hàm hồi quy là tuyến tính trong các tham số chưa biết được ước tính từ dữ liệu. " $\mathbb{E}(y | x)$

Làm thế nào là hồi quy đa thức tuyến tính trong các tham số chưa biết nếu các tham số là hệ số cho các số hạng có thứ tự 2? $\ge$

— yêu tinh
nguồn

4

Các tham số được ước tính là (đa) tuyến tính. Nếu bạn ước tính các giá trị của số mũ, bài toán ước tính sẽ không tuyến tính; nhưng bình phương một người dự đoán sẽ sửa số mũ ở mức chính xác 2.

— Tái lập lại

Sự hiểu biết của tôi là bình luận @ user777, cũng như các câu trả lời dưới đây, áp dụng không chỉ để hồi quy đa thức, mà còn bất kỳ hồi quy có sử dụng một song ánh của các biến dự đoán. ví dụ: bất kỳ chức năng có thể đảo ngược nào, như

,

, v.v. (cộng với một số chức năng khác, rõ ràng, vì quyền hạn thứ 2 không phải là tính từ).

l o g (x)

$log(x)$

e^{x}

$e^x$

— ness101

Cảm ơn mọi người; tất cả các câu trả lời và ý kiến đều hữu ích

— gavinmh

53

$\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$ $x^2_i$ $x_i$

$x^2_i$ $x_i$ $x_i$ $y_i$ $x^2_i$ $x_i$ $y_i$ $x_i$ $x^2_i$ $x, y$

$x_i$ $x^2_i$ $x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

nhập mô tả hình ảnh ở đây

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

nhập mô tả hình ảnh ở đây

Có thể dễ dàng nhìn thấy hơn trong những hình ảnh này, đó là ảnh chụp màn hình của một hình 3D xoay được thực hiện với cùng một dữ liệu bằng cách sử dụng rglgói.

nhập mô tả hình ảnh ở đây

$p$ $p$ $p\!+\!1$

— gung - Phục hồi Monica
nguồn

17

$y = a + bx + cx^2$ $x$ $a$ $b$ $c$ $y = \sum_{i=0}^N a_i h_i(x)$ $h_i$ $x$ $h_i$ $x$

— ong chúa
nguồn

14

y_{i} = b_{0} + b_{1} x_{i}^{n_{1}} + \dots + b_{p} x_{i}^{n_{p}} + ϵ_{i} .

$y_i = b_0+b_1 x^{n_1}_i + \cdots+ b_px^{n_p}_i + \epsilon_i.$

y = X b + ϵ; X = (\begin{matrix} 1 & x_{1}^{n_{1}} & \dots & x_{1}^{n_{p}} \\ 1 & x_{2}^{n_{1}} & \dots & x_{2}^{n_{p}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n}^{n_{1}} & \dots & x_{n}^{n_{p}} \end{matrix}) .

$y = X b + \epsilon;\\ X= \begin{pmatrix} 1 & x_{1}^{n_1} & \cdots & x_{1}^{n_p} \\ 1 & x_{2}^{n_1} & \cdots & x_{2}^{n_p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n}^{n_1} & \cdots & x_{n}^{n_p} \\ \end{pmatrix}.$

— mookid
nguồn