Nếu bạn không thể thực hiện trực giao, hãy thực hiện thô (hồi quy đa thức)

Khi thực hiện hồi quy đa thức cho lên , đôi khi người ta sử dụng đa thức thô, đôi khi là đa thức trực giao. Nhưng khi họ sử dụng những gì dường như hoàn toàn tùy ý.$Y$$X$

Ở đây và ở đây đa thức thô được sử dụng. Nhưng ở đây và đây , đa thức trực giao dường như cho kết quả chính xác. Cái gì, như thế nào, tại sao?!

Ngược lại, khi tìm hiểu về hồi quy đa thức từ sách giáo khoa (ví dụ ISLR ), điều đó thậm chí không đề cập đến đa thức thô hoặc trực giao - chỉ đưa ra mô hình được trang bị.

Vậy khi nào chúng ta phải sử dụng cái gì?
Và tại sao các giá trị p riêng lẻ cho , v.v ... khác nhau rất nhiều giữa hai giá trị này?$X$$X^2$

Các biến và không độc lập tuyến tính. Vì vậy, ngay cả khi không có tác động bậc hai, thêm với mô hình sẽ thay đổi tác dụng ước tính của .X 2 X 2$X$$X^2$$X^2$$X$

Chúng ta hãy xem xét với một mô phỏng rất đơn giản.

> x <- runif(1e3)
> y <- x + rnorm(length(x))
> summary(lm(y~x))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.03486    0.06233  -0.559    0.576    
x            1.05843    0.10755   9.841   <2e-16 ***

Bây giờ với một thuật ngữ bậc hai trong mô hình để phù hợp.

> summary(lm(y~x+I(x^2)))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  0.03275    0.09528   0.344    0.731
x            0.65742    0.44068   1.492    0.136
I(x^2)       0.39914    0.42537   0.938    0.348

Tất nhiên bài kiểm tra omnibus vẫn còn có ý nghĩa, nhưng tôi nghĩ rằng kết quả mà chúng tôi đang tìm kiếm không phải là bài kiểm tra này. Giải pháp là sử dụng đa thức trực giao.

 > summary(lm(y~poly(x,2)))

 Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.49744    0.03098  16.059   <2e-16 ***
poly(x, 2)1  9.63943    0.97954   9.841   <2e-16 ***
poly(x, 2)2  0.91916    0.97954   0.938    0.348    

Lưu ý rằng các hệ số của xtrong mô hình đầu tiên và của poly(x,2)1mô hình thứ hai không bằng nhau, và thậm chí các lần chặn cũng khác nhau. Điều này là do polycung cấp các vectơ trực giao, cũng trực giao với vectơ rep(1, length(x)). Vậy poly(x,2)1là không xnhưng (x -mean(x))/sqrt(sum((x-mean(x))**2))...

Một điểm quan trọng là các bài kiểm tra Wald, trong mô hình cuối cùng này, là độc lập. Bạn có thể sử dụng đa thức trực giao để quyết định mức độ bạn muốn đi, chỉ bằng cách xem xét nghiệm Wald: ở đây bạn quyết định giữ nhưng không phải . Tất nhiên bạn sẽ tìm thấy cùng một mô hình bằng cách so sánh hai mô hình được trang bị đầu tiên, nhưng nó đơn giản hơn theo cách này - nếu bạn xem xét việc đi lên mức độ cao hơn, nó thực sự đơn giản hơn nhiều. X $X$$X^2$

Khi bạn đã quyết định giữ các thuật ngữ nào, bạn có thể muốn quay lại các đa thức thô và để có thể giải thích hoặc để dự đoán. X $X$$X^2$

Để đưa ra một đánh giá ngây thơ về tình hình:

nói chung: giả sử bạn có hai hệ thống chức năng cơ bản khác nhau , cũng như cho một số chức năng (hilbert-) không gian, , tức là không gian của tất cả các hàm có thể tích hợp hình vuông. { ~ p } ∞ n = 1 L 2 ( [ một , b ] $\{p_n\}_{n=1}^\infty$$\{\tilde{p}\}_{n=1}^\infty$$L_2([a,b])$

Điều này có nghĩa là mỗi trong hai cơ sở có thể được sử dụng để giải thích từng yếu tố của , tức là với bạn có một số hệ số và , (trong -sense): $L_2([a,b])$$y \in L_2([a,b])$$\theta_n$$\tilde{\theta}_n \in \mathbb{R}$$n=1,2,\dots$$L_2$

Tuy nhiên, mặt khác, nếu bạn cắt bớt cả hai bộ hàm cơ bản ở một số số , tức là bạn lấy cũng như các bộ hàm cơ bản bị cắt cụt này rất có khả năng hai mô tả "các phần khác nhau" của .$k<\infty$

Tuy nhiên, ở đây trong trường hợp đặc biệt có một cơ sở, , chỉ là một trực giao của cơ sở khác, , dự đoán tổng thể của sẽ giống nhau cho từng mô hình bị cắt cụt ( và đối tác trực giao của chúng sẽ mô tả cùng một không gian con -chiều của ).$\{\tilde{p}\}_{n=1}^\infty$$\{p_n\}_{n=1}^\infty$$y$$\{p\}_{n=1}^k$$k$$L_2([a,b])$

Nhưng mỗi hàm cơ sở riêng lẻ từ hai cơ sở "khác nhau" sẽ mang lại sự đóng góp khác nhau cho dự đoán này (rõ ràng là các hàm / dự đoán khác nhau!) Dẫn đến giá trị và hệ số khác nhau .$p$

Do đó, về mặt dự đoán, (trong trường hợp này) không có sự khác biệt.

Từ quan điểm tính toán, một ma trận mô hình bao gồm các hàm cơ sở trực giao có các thuộc tính số / tính toán đẹp cho công cụ ước lượng bình phương nhỏ nhất. Trong khi cùng lúc theo quan điểm thống kê, việc trực giao hóa dẫn đến các ước tính không tương quan, vì theo các giả định tiêu chuẩn.$var(\hat{\tilde{\theta}}) = I \sigma²$

Câu hỏi tự nhiên đặt ra nếu có một hệ thống cơ sở cắt ngắn tốt nhất. Tuy nhiên, câu trả lời cho câu hỏi không đơn giản cũng không độc đáo và ví dụ phụ thuộc vào định nghĩa của từ "tốt nhất", tức là những gì bạn đang cố lưu trữ.