Splines vs Gaussian Regression

14

Tôi biết rằng Gaussian Process Regression (GPR) là một giải pháp thay thế cho việc sử dụng các spline để phù hợp với các mô hình phi tuyến linh hoạt. Tôi muốn biết trong những tình huống nào thì một tình huống sẽ phù hợp hơn các tình huống khác, đặc biệt là trong khung hồi quy Bayes.

Tôi đã xem xét những lợi thế / bất lợi của việc sử dụng spline, spline được làm mịn và trình giả lập quy trình gaussian là gì? nhưng dường như không có bất cứ điều gì về GPR trong bài viết này.

— ved
nguồn

Tôi muốn nói rằng GP là một cách tiếp cận dựa trên dữ liệu nhiều hơn để phù hợp với một hàm phi tuyến tính. Các spline thường được giới hạn trong đa thức n-th. Các GP có thể mô hình hóa các hàm phức tạp hơn đa thức (mặc dù không chắc chắn 100%).

— Vladislavs Dovgalecs

14

Tôi đồng ý với câu trả lời của @j __.

Tuy nhiên, tôi muốn nhấn mạnh một thực tế rằng spline chỉ là một trường hợp đặc biệt của hồi quy / khử nhiễu Gaussian Process .

Nếu bạn lấy một loại hạt nhân nhất định trong hồi quy quy trình Gaussian, bạn chính xác có được mô hình khớp nối spline.

Thực tế này đã được chứng minh trong bài báo này của Kimeldorf và Wahba (1970) . Nó khá là kỹ thuật, vì nó sử dụng liên kết giữa các hạt nhân được sử dụng trong việc tạo ra và tái tạo không gian hạt nhân Hilbert (RKHS).

— Nhạc pop
nguồn

2

Ví dụ, trong trường hợp một chiều, mô hình GP cho spline làm mịn nổi tiếng chỉ đơn giản là một tiếng ồn trắng Gaussian tích hợp gấp đôi. Điều này đã được Craig Ansley và Robert Kohn sử dụng để thiết kế các thuật toán hiệu quả vào cuối những năm 1980. Tôi tin rằng sự tương đương này có thể được hiểu một phần mà không cần đi sâu vào toán học sâu của RKHS.

— Yves

Đây là một câu trả lời rất tốt.

— Astrid

6

Đó là một câu hỏi rất thú vị: Sự tương đương giữa các quá trình Gaussian và các spline làm mịn đã được thể hiện ở Kimeldorf và Wahba 1970. Việc khái quát hóa sự tương ứng này trong trường hợp nội suy bị ràng buộc đã được phát triển trong Bay et al. 2016.

Bay và cộng sự. 2016. Tổng quát hóa Tương ứng Kimeldorf-Wahba cho phép nội suy bị ràng buộc. Tạp chí điện tử thống kê.

Trong bài báo này, lợi thế của phương pháp Bayes đã được thảo luận.

— Maatouk Hassan
nguồn

2

Tôi cũng đồng ý với nhận xét của @ xeon, GPR đặt phân phối xác suất cho vô số hàm có thể và hàm trung bình (giống như spline) chỉ là ước tính MAP nhưng bạn cũng có sự khác biệt về điều đó. Điều này cho phép các cơ hội lớn như thiết kế thử nghiệm (chọn dữ liệu đầu vào có nhiều thông tin nhất). Ngoài ra, nếu bạn muốn thực hiện tích hợp (bậc hai) của mô hình, GP sẽ có kết quả gaussian cho phép bạn tự tin với kết quả của mình. Ít nhất là với các mô hình spline tiêu chuẩn, điều này là không thể.

Trong thực tế GPR cho kết quả nhiều thông tin hơn (theo kinh nghiệm của tôi) nhưng các mô hình spline dường như nhanh hơn trong kinh nghiệm của tôi.

— j__
nguồn