Kernel Regression có giống với hồi quy tiến trình Gaussian không?

10

Tôi đã sử dụng hồi quy hạt nhân Nadaraya-Watson trước đây để làm mịn dữ liệu. Gần đây tôi đã chạy vào hồi quy quy trình Gaussian.

Prima facie, họ dường như không liên quan. Nhưng tôi tự hỏi nếu có lẽ có một kết nối sâu sắc hơn mà tôi không nhận thức được. Là hồi quy hạt nhân Nadaraya-Watson có phải là trường hợp đặc biệt của GPR không?

— Demetri Pananos
nguồn

6

Có, có một kết nối, tùy thuộc vào chức năng hiệp phương sai GP và hạt nhân của mượt mà hơn. Nó đã được thảo luận trong chương 2 (phần 2.6) của các quy trình Gaussian cho Machine Learning . Lưu ý rằng ngay cả một hàm hiệp phương sai đơn giản, chẳng hạn như hàm mũ bình phương, dẫn đến các hạt nhân tương đương phức tạp do các tính chất phổ của hàm.

Những điều khác cần lưu ý là:

trong cài đặt đa biến, N-WKR đạt được hồi quy đơn biến theo từng chiều (xem câu trả lời này ), trong khi các GP có thể mô hình hóa hiệp phương sai đa biến.
không có chức năng trung bình GP
hạt nhân trong N-WKR không cần phải là hàm hiệp phương sai GP hợp lệ và có thể không có hàm hiệp phương sai tương đương cho mọi hạt nhân
không có tương đương rõ ràng cho các hàm hiệp phương sai định kỳ như một hạt nhân mượt mà hơn
trong GP, bạn có thể tự do kết hợp các hàm hiệp phương sai (ví dụ thông qua phép nhân hoặc phép cộng), xem ví dụ: sổ nấu ăn nhân

— tdc
nguồn

1) Bạn có trích dẫn hồi quy GP với đáp ứng đa biến không? 2) Tôi đã hiểu N-WKR là tương đương với giá trị trung bình của hồi quy GP. Những gì N-WKR thiếu sẽ là phương sai trong cách hiểu này, không phải là ý nghĩa. 4) Tại sao bạn không thể đơn giản sử dụng chức năng định kỳ làm hạt nhân cho N-WKR? N-WKR là một tổ hợp của hạt nhân và dữ liệu - chỉ cần kết hợp dữ liệu với một hàm tuần hoàn. 5) Tôi không chắc chắn tôi hiểu hạt nhân phụ gia trong GP chưa.

— Make42

-1

Có một mối liên hệ trong đó Mô hình hóa quá trình Gaussian là một kỹ thuật hạt nhân, có nghĩa là các GPM sử dụng hàm kernel để mô tả hiệp phương sai Gaussian đa biến giữa các điểm dữ liệu được quan sát và hồi quy được sử dụng để tìm các tham số kernel (siêu âm) mô tả đúng nhất dữ liệu được quan sát . Mô hình hóa quá trình Gaussian có thể ngoại suy từ dữ liệu được quan sát để tạo ra hàm trung bình nội suy (với độ không đảm bảo có liên quan được quy định bởi hàm kernel) cho bất kỳ điểm nào trong không gian.

Dưới đây là một số tài nguyên về GPM mô tả chi tiết các loại chức năng hạt nhân thường được sử dụng cũng như các phương pháp được sử dụng để ước tính siêu đường kính hạt nhân:

http: //www.gaussian process.org/gpml/

http://www.eurandom.tue.nl/events/workairs/2010/YESIV/Prog-Abstr_files/Ghahramani-lecture2.pdf

— T3am5hark
nguồn