B-Splines VS đa thức bậc cao trong hồi quy

Tôi không có một ví dụ cụ thể hoặc nhiệm vụ trong tâm trí. Tôi chỉ mới sử dụng b-splines và tôi muốn hiểu rõ hơn về chức năng này trong bối cảnh hồi quy.

Giả sử rằng chúng tôi muốn đánh giá mối quan hệ giữa biến trả lời và một số dự đoán . Các dự đoán bao gồm một số biến số cũng như một số biến phân loại.$y$$x_1, x_2,...,x_p$

Giả sử sau khi điều chỉnh mô hình hồi quy, một trong các biến số, ví dụ là có ý nghĩa. Một bước hợp lý sau đó là đánh giá xem các đa thức bậc cao hơn, ví dụ: và được yêu cầu để giải thích thỏa đáng mối quan hệ mà không cần quá mức.$x_1$$x_1^2$$x_1^3$

Câu hỏi của tôi là:

1. Tại thời điểm nào bạn đã chọn giữa b-splines hoặc đa thức bậc cao đơn giản. ví dụ: trong R:

   y ~ poly(x1,3) + x2 + x3
   

   đấu với

    y ~ bs(x1,3) + x2 + x3
   

2. Làm thế nào bạn có thể sử dụng các lô để thông báo sự lựa chọn của mình giữa hai thứ đó và điều gì xảy ra nếu nó không thực sự rõ ràng từ các lô (ví dụ: do số lượng điểm dữ liệu khổng lồ)

3. Bạn đánh giá các điều khoản tương tác hai chiều giữa và giả sử$x_2$$x_3$

4. Làm thế nào để thay đổi ở trên cho các loại mô hình khác nhau

5. Bạn có cân nhắc không bao giờ sử dụng đa thức bậc cao và luôn lắp b-splines và xử phạt tính linh hoạt cao không?

Tôi thường chỉ xem xét các spline hơn là đa thức. Đa thức không thể mô hình hóa ngưỡng và thường không có tính toàn cầu, tức là, các quan sát tại một phạm vi của yếu tố dự đoán có ảnh hưởng mạnh mẽ đến những gì mô hình thực hiện ở một phạm vi khác ( Magee, 1998, Chiến lược mô hình hồi quy của Mỹ và Thống kê của Frank Harrell ). Và tất nhiên các spline bị hạn chế là tuyến tính bên ngoài các nút cực trị sẽ tốt hơn cho phép ngoại suy, hoặc thậm chí là nội suy ở các giá trị cực trị của các yếu tố dự đoán.

Một trường hợp mà bạn có thể muốn xem xét đa thức là khi điều quan trọng là phải giải thích mô hình của bạn cho một đối tượng phi kỹ thuật. Mọi người hiểu đa thức tốt hơn spline. (Chỉnh sửa: Matthew Drury chỉ ra rằng mọi người chỉ có thể nghĩ rằng họ hiểu đa thức tốt hơn spline. Tôi sẽ không đứng về phía câu hỏi này.)

Cốt truyện thường không hữu ích lắm trong việc quyết định giữa các cách xử lý phi tuyến khác nhau. Tốt hơn để làm xác nhận chéo. Điều này cũng sẽ giúp bạn đánh giá các tương tác, hoặc tìm ra một hình phạt tốt.

Cuối cùng, câu trả lời của tôi không thay đổi với loại mô hình, bởi vì các điểm trên là hợp lệ cho bất kỳ mô hình thống kê hoặc ML nào.

Trong phần 7.4.5 của "Các yếu tố của học thống kê", người ta nói rằng spline thường cho kết quả vượt trội hơn so với hồi quy đa thức, bởi vì:

• Nó tạo ra sự phù hợp linh hoạt;
• Sản xuất ước tính ổn định hơn;
• Đa thức có thể tạo ra kết quả không mong muốn tại các ranh giới.