Hồi quy đa thức thô hay trực giao?

Tôi muốn hồi quy một biến lên . Tôi nên làm điều này bằng cách sử dụng đa thức thô hoặc trực giao? Tôi đã xem xét câu hỏi trên trang web liên quan đến những vấn đề này, nhưng tôi không thực sự hiểu sự khác biệt giữa việc sử dụng chúng. x , x 2 , ... , x $y$$x,x^2,\ldots,x^5$

Tại sao tôi không thể thực hiện hồi quy "bình thường" để lấy các hệ số của y = Σ 5 i = 0 β i x $\beta_i$$y=\sum_{i=0}^5 \beta_i x^i$ (cùng với giá trị p và tất cả các công cụ hay khác) và thay vào đó phải lo lắng sử dụng đa thức thô hay trực giao? Sự lựa chọn này đối với tôi dường như nằm ngoài phạm vi của những gì tôi muốn làm.

Trong cuốn sách thống kê tôi hiện đang đọc (ISLR của Tibshirani et al) những điều này không được đề cập. Trên thực tế, họ đã bị hạ thấp một cách.
Lý do là, AFAIK, trong lm()hàm trong R, sử dụng y ~ poly(x, 2)số tiền để sử dụng đa thức trực giao và sử dụng y ~ x + I(x^2)số lượng để sử dụng số liệu thô. Nhưng trên trang 116, các tác giả nói rằng chúng tôi sử dụng tùy chọn đầu tiên bởi vì tùy chọn thứ hai là "cồng kềnh", điều này không cho thấy các lệnh này thực sự đối với những thứ hoàn toàn khác nhau (và có kết quả đầu ra khác nhau).
(câu hỏi thứ ba) Tại sao các tác giả của ISLR lại nhầm lẫn độc giả của họ như vậy?

Tôi tin rằng câu trả lời ít hơn về sự ổn định số (mặc dù điều đó đóng vai trò) và nhiều hơn về việc giảm tương quan.

Về bản chất - vấn đề tập trung vào thực tế là khi chúng ta hồi quy chống lại một loạt các đa thức bậc cao, các đồng biến chúng ta đang hồi quy chống lại trở nên tương quan cao. Mã ví dụ dưới đây:

x = rnorm(1000)
raw.poly = poly(x,6,raw=T)
orthogonal.poly = poly(x,6)
cor(raw.poly)
cor(orthogonal.poly)

Điều này là vô cùng quan trọng. Khi các đồng biến trở nên tương quan hơn, khả năng của chúng tôi để xác định cái nào là quan trọng (và kích thước của hiệu ứng của chúng) sẽ bị xói mòn nhanh chóng. Điều này thường được gọi là vấn đề của đa cộng đồng. Ở giới hạn, nếu chúng ta có hai biến tương quan hoàn toàn, khi chúng ta hồi quy chúng với thứ gì đó, không thể phân biệt giữa hai biến - bạn có thể coi đây là một phiên bản cực đoan của vấn đề, nhưng vấn đề này ảnh hưởng đến ước tính của chúng tôi mức độ tương quan ít hơn là tốt. Do đó, theo một nghĩa thực tế - ngay cả khi sự không ổn định về số lượng không phải là vấn đề - mối tương quan từ các đa thức bậc cao gây thiệt hại to lớn cho thói quen suy luận của chúng ta. Điều này sẽ biểu hiện dưới dạng các lỗi tiêu chuẩn lớn hơn (và do đó các chỉ số t nhỏ hơn) mà bạn thường thấy (xem ví dụ hồi quy bên dưới).

y = x*2 + 5*x**3 - 3*x**2 + rnorm(1000)
raw.mod = lm(y~poly(x,6,raw=T))
orthogonal.mod = lm(y~poly(x,6))
summary(raw.mod)
summary(orthogonal.mod)

Nếu bạn chạy mã này, việc giải thích là một khó khăn vì tất cả các hệ số đều thay đổi và do đó mọi thứ rất khó để so sánh. Nhìn vào các số liệu thống kê T, chúng ta có thể thấy rằng khả năng xác định các hệ số lớn hơn nhiều với các đa thức trực giao. Đối với 3 hệ số có liên quan, tôi có các chỉ số t (560,21,449) cho mô hình trực giao và chỉ (28, -38.121) cho mô hình đa thức thô. Đây là một sự khác biệt rất lớn đối với một mô hình đơn giản chỉ với một vài thuật ngữ đa thức bậc thấp tương đối quan trọng.

Điều đó không có nghĩa là điều này đến mà không có chi phí. Có hai chi phí chính phải ghi nhớ. 1) chúng ta mất một số khả năng giải thích với đa thức trực giao. Chúng ta có thể hiểu hệ số trên x**3có nghĩa là gì, nhưng việc giải thích hệ số trên x**3-3x(poly ẩn thứ ba - không nhất thiết là những gì bạn sẽ sử dụng) có thể khó hơn nhiều. Thứ hai - khi chúng ta nói rằng đây là các đa thức là trực giao - chúng tôi muốn nói rằng chúng là trực giao đối với một số đo khoảng cách. Chọn một thước đo khoảng cách có liên quan đến tình huống của bạn có thể khó khăn. Tuy nhiên, đã nói rằng, tôi tin rằng polyhàm được thiết kế để chọn sao cho nó trực giao với hiệp phương sai - rất hữu ích cho hồi quy tuyến tính.

Tại sao tôi không thể thực hiện hồi quy "bình thường" để có được các hệ số?

Bởi vì nó không ổn định về số lượng. Hãy nhớ rằng máy tính đang sử dụng số bit cố định để thể hiện số float. Kiểm tra IEEE754 để biết chi tiết, bạn có thể ngạc nhiên rằng ngay cả số đơn giản , máy tính cũng cần lưu trữ nó là . Bạn có thể thử các số khác ở đây$0.4$$0.4000000059604644775390625$

Sử dụng đa thức thô sẽ gây ra vấn đề vì chúng ta sẽ có số lượng rất lớn. Đây là một bằng chứng nhỏ: chúng ta đang so sánh số điều kiện ma trận với đa thức thô và trực giao.

> kappa(model.matrix(mpg~poly(wt,10),mtcars))
[1] 5.575962
> kappa(model.matrix(mpg~poly(wt,10, raw = T),mtcars))
[1] 2.119183e+13

Bạn cũng có thể kiểm tra câu trả lời của tôi ở đây cho một ví dụ.

Tại sao có hệ số lớn cho đa thức bậc cao

Tôi cảm thấy như một vài trong số những câu trả lời này hoàn toàn bỏ lỡ vấn đề. Câu trả lời của Haitao giải quyết các vấn đề tính toán với việc điều chỉnh đa thức thô, nhưng rõ ràng OP đang hỏi về sự khác biệt thống kê giữa hai phương pháp. Đó là, nếu chúng ta có một máy tính hoàn hảo có thể đại diện chính xác cho tất cả các giá trị, tại sao chúng ta lại thích một cách tiếp cận hơn các phương pháp khác?

$R^2$$X$$Y$$X=0$$X=0$$X$

data("iris")

#Raw:
fit.raw <- lm(Petal.Length ~ Petal.Width + I(Petal.Width^2) +
                  I(Petal.Width^3), data = iris)
summary(fit.raw)

#> Coefficients:
#>                  Estimate Std. Error t value Pr(>|t|)    
#> (Intercept)        1.1034     0.1304   8.464 2.50e-14 ***
#> Petal.Width        1.1527     0.5836   1.975  0.05013 .  
#> I(Petal.Width^2)   1.7100     0.5487   3.116  0.00221 ** 
#> I(Petal.Width^3)  -0.5788     0.1408  -4.110 6.57e-05 ***
#> ---
#> Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
#> 
#> Residual standard error: 0.3898 on 146 degrees of freedom
#> Multiple R-squared:  0.9522, Adjusted R-squared:  0.9512 
#> F-statistic: 969.9 on 3 and 146 DF,  p-value: < 2.2e-16

#Orthogonal
fit.orth <- lm(Petal.Length ~ stats::poly(Petal.Width, 3), data = iris)

#Marginal effect of X at X=0 from orthogonal model
library(margins)
summary(margins(fit.orth, variables = "Petal.Width", 
                at = data.frame(Petal.Width = 0)))
#> Warning in check_values(data, at): A 'at' value for 'Petal.Width' is
#> outside observed data range (0.1,2.5)!
#>       factor Petal.Width    AME     SE      z      p  lower  upper
#>  Petal.Width      0.0000 1.1527 0.5836 1.9752 0.0482 0.0089 2.2965

^{Được tạo vào ngày 2019-10-25 bởi gói reprex (v0.3.0)}

Hiệu ứng cận biên của Petal.Width0 từ sự phù hợp trực giao và sai số chuẩn của nó hoàn toàn bằng với hiệu ứng từ đa thức thô. Sử dụng đa thức trực giao không cải thiện độ chính xác của các ước tính có cùng số lượng giữa hai mô hình.

$Y$$X$? "bạn có thể phù hợp với hồi quy đa thức trực giao và tương quan bán nguyệt bình phương trên số hạng tuyến tính sẽ đại diện cho đại lượng này. Điều này không đúng với đa thức thô. thuật ngữ tuyến tính không biểu thị tỷ lệ phương sai trong giải thích bởi thành phần tuyến tính của Xem bên dưới.$Y$$X$

library(jtools)
data("iris")

fit.raw3 <- lm(Petal.Length ~ Petal.Width + I(Petal.Width^2) +
                  I(Petal.Width^3), data = iris)
fit.raw1 <- lm(Petal.Length ~ Petal.Width, data = iris)

round(summ(fit.raw3, part.corr = T)$coef, 3)
#>                    Est.  S.E. t val.     p partial.r part.r
#> (Intercept)       1.103 0.130  8.464 0.000        NA     NA
#> Petal.Width       1.153 0.584  1.975 0.050     0.161  0.036
#> I(Petal.Width^2)  1.710 0.549  3.116 0.002     0.250  0.056
#> I(Petal.Width^3) -0.579 0.141 -4.110 0.000    -0.322 -0.074

round(summ(fit.raw1, part.corr = T)$coef, 3)
#>              Est.  S.E. t val. p partial.r part.r
#> (Intercept) 1.084 0.073 14.850 0        NA     NA
#> Petal.Width 2.230 0.051 43.387 0     0.963  0.963

fit.orth3 <- lm(Petal.Length ~ stats::poly(Petal.Width, 3), 
               data = iris)
fit.orth1 <- lm(Petal.Length ~ stats::poly(Petal.Width, 3)[,1], 
               data = iris)

round(summ(fit.orth3, part.corr = T)$coef, 3)
#>                                Est.  S.E.  t val. p partial.r part.r
#> (Intercept)                   3.758 0.032 118.071 0        NA     NA
#> stats::poly(Petal.Width, 3)1 20.748 0.390  53.225 0     0.975  0.963
#> stats::poly(Petal.Width, 3)2 -3.015 0.390  -7.735 0    -0.539 -0.140
#> stats::poly(Petal.Width, 3)3 -1.602 0.390  -4.110 0    -0.322 -0.074

round(summ(fit.orth1, part.corr = T)$coef, 3)
#>                                    Est.  S.E. t val. p partial.r part.r
#> (Intercept)                       3.758 0.039 96.247 0        NA     NA
#> stats::poly(Petal.Width, 3)[, 1] 20.748 0.478 43.387 0     0.963  0.963

^{Được tạo vào ngày 2019-10-25 bởi gói reprex (v0.3.0)}

$0.001$$0.003$$0.005$$0.927$$0.927$$0.020$$0.005$$0.927$. Từ mô hình đa thức trực giao nhưng không phải là mô hình đa thức thô, chúng ta biết rằng hầu hết các phương sai được giải thích trong kết quả là do thuật ngữ tuyến tính, rất ít đến từ thuật ngữ bình phương và thậm chí ít hơn từ thuật ngữ khối. Các giá trị đa thức thô không kể câu chuyện đó.

Bây giờ, cho dù bạn muốn lợi ích diễn giải này so với lợi ích liên ngành của việc thực sự có thể hiểu các hệ số của mô hình, thì bạn nên sử dụng đa thức trực giao. Nếu bạn muốn xem xét các hệ số và biết chính xác ý nghĩa của chúng (mặc dù tôi nghi ngờ người ta thường làm như vậy), thì bạn nên sử dụng các đa thức thô. Nếu bạn không quan tâm (nghĩa là bạn chỉ muốn kiểm soát để gây nhiễu hoặc tạo ra các giá trị dự đoán), thì điều đó thực sự không thành vấn đề; cả hai hình thức đều mang cùng một thông tin liên quan đến các mục tiêu đó. Tôi cũng sẽ lập luận rằng các đa thức trực giao nên được ưu tiên trong chính quy hóa (ví dụ: lasso), bởi vì việc loại bỏ các thuật ngữ bậc cao không ảnh hưởng đến các hệ số của các điều khoản bậc thấp, không đúng với đa thức thô,

Tôi chứng thực phản hồi tuyệt vời từ @ user5957401 và thêm nhận xét về nội suy, ngoại suy và báo cáo.

Ngay cả trong miền của các giá trị tham số ổn định, các hệ số / tham số được mô hình bởi các đa thức trực giao sẽ có các lỗi tiêu chuẩn nhỏ hơn đáng kể so với các hệ số / tham số được mô hình hóa bởi các tham số thô. Về cơ bản, các đa thức trực giao là một tập hợp các mô tả không hiệp phương sai miễn phí. Đó là PCA miễn phí!

Hạn chế tiềm năng duy nhất là phải giải thích điều này với người không hiểu được đức tính của mô tả hiệp phương sai. Các hệ số không thể giải thích được ngay lập tức trong bối cảnh các hiệu ứng bậc nhất (giống như vận tốc) hoặc bậc hai (giống như gia tốc). Điều này có thể khá tai hại trong một thiết lập kinh doanh.

$10^{-d}$$\sim$$R^2$$adj ~R^2$

Vì vậy, tôi sẽ là "đơn đặt hàng độ lớn" tự tin hơn khi báo cáo mô hình trực giao so với mô hình thô. Trong thực tế, tôi sẽ nội suy với một trong hai mô hình, nhưng tôi sẽ ngoại suy chỉ với mô hình trực giao.

Tôi sẽ chỉ bình luận để đề cập đến điều này, nhưng tôi không có đủ đại diện, vì vậy tôi sẽ cố gắng mở rộng thành một câu trả lời. Bạn có thể thấy thú vị khi thấy trong Phần Lab 7.8.1 trong "Giới thiệu về học thống kê" (James và cộng sự, 2017, đã in lần thứ 8), họ thảo luận về một số khác biệt giữa việc sử dụng đa thức trực giao hay không, có sử dụng raw=TRUEhoặc raw=FALSEtrong poly()chức năng. Ví dụ: các ước tính hệ số sẽ thay đổi, nhưng các giá trị được trang bị thì không:

# using the Wage dataset in the ISLR library
fit1 <- lm(wage ~ poly(age, 4, raw=FALSE), data=Wage)
fit2 <- lm(wage ~ poly(age, 4, raw=TRUE), data=Wage)
print(coef(fit1)) # coefficient estimates differ
print(coef(fit2))
all.equal(predict(fit1), predict(fit2)) #returns TRUE    

Cuốn sách cũng thảo luận về cách sử dụng đa thức trực giao, các giá trị p thu được khi sử dụng anova()phép thử F lồng nhau (để khám phá mức độ đa thức có thể được bảo hành) giống như các giá trị thu được khi sử dụng phép thử t tiêu chuẩn, đầu ra summary(fit). Điều này minh họa rằng thống kê F bằng với bình phương của thống kê t trong các tình huống nhất định.