Hiểu hồi quy quy trình Gaussian qua chế độ xem cơ sở chiều vô hạn

Người ta thường nói rằng hồi quy quá trình gaussian tương ứng (GPR) với hồi quy tuyến tính bayes với một số lượng vô hạn (có thể) các hàm cơ sở. Tôi hiện đang cố gắng hiểu chi tiết điều này để có được trực giác về loại mô hình nào tôi có thể thể hiện bằng GPR.

Bạn có nghĩ rằng đây là một cách tiếp cận tốt để cố gắng hiểu GPR?

Trong cuốn sách Các quy trình Gaussian cho Machine learning Rasmussen và Williams chỉ ra rằng tập hợp các quy trình gaussian được mô tả bởi hạt nhân bình phương lũy thừa tham số có thể được mô tả tương đương như hồi quy Bayes với niềm tin trướctrên trọng lượng và một số lượng vô hạn các hàm cơ bản của hình thức

k (x, x^{'}; l) = σ_{p}^{2} \exp (- \frac{(x - x)^{2}}{2 l^{2}})

$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$

w \sim N (0, σ_{p}^{2} I)

$w \sim \mathcal{N}(0,\sigma_p^2 I)$

Do đó, việc tham số hóa hạt nhân có thể được dịch hoàn toàn thành tham số hóa các hàm cơ sở.

ϕ_{c} (x; l) = \exp (- \frac{(x - c)^{2}}{2 l^{2}})

$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$

Việc tham số hóa của một hạt nhân khác biệt luôn có thể được dịch thành tham số hóa của các hàm cơ sở trước và các hàm cơ sở hay có các hạt nhân khác nhau trong đó, ví dụ như số lượng các hàm cơ sở phụ thuộc vào cấu hình?

My tìm hiểu cho đến nay được rằng đối với một hàm k hạt nhân cố định (x, x ') Định lý Mercer của cho chúng ta biết có thể được diễn tả như nơi là một chức năng hoặc vào số thực hoặc số phức. Do đó, đối với một nhân đã cho, mô hình hồi quy bayes tương ứng có trước $k(x,x')$

k (x, x^{'}) = \sum_{i = 1}^{\infty} λ_{i} ϕ_{i} (x) ϕ_{i} (x^{'})

$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$

ϕ_{i}

$\phi_i$

và các hàm cơ sở

. Do đó, mọi GP thậm chí có thể được xây dựng dưới dạng mô hình hồi quy tuyến tính bayesian với đường chéo trước. Tuy nhiên, nếu bây giờ chúng ta sử dụng mercers lý cho mọi cấu hình của một parameterised kernel

đó là khả vi tại mỗi

các giá trị riêng tương ứng và eigenfunctions sức mạnh bằng cách khác nhau cho mọi cấu hình.

w \sim N (0, diag ([λ_{1}^{2}, \dots]))

$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$

ϕ_{i}

$\phi_i$

k (x, x^{'}, θ)

$k(x,x',\theta)$

θ

$\theta$

Câu hỏi tiếp theo của tôi là về nghịch đảo của định lý mercers.

Những tập hợp các hàm cơ sở dẫn đến hạt nhân hợp lệ?

Và phần mở rộng

Những tập hợp các hàm cơ sở được tham số hóa dẫn đến các nhân khác biệt hợp lệ?

gaussian-process kernel-trick basis-function

— Julian Karls
nguồn

Dưới đây là một vài nhận xét. Có lẽ người khác có thể điền vào các chi tiết.

1) Các đại diện cơ bản luôn là một ý tưởng tốt. Thật khó để tránh chúng nếu bạn thực sự muốn làm một cái gì đó tính toán với hàm hiệp phương sai của bạn. Việc mở rộng cơ sở có thể cung cấp cho bạn một xấp xỉ với kernel và một cái gì đó để làm việc. Hy vọng là bạn có thể tìm thấy một cơ sở có ý nghĩa cho vấn đề bạn đang cố gắng giải quyết.

$\theta$ $\theta$

Thông thường, số lượng các hàm cơ sở sẽ là (vô hạn), vì vậy số lượng sẽ không thay đổi theo tham số, trừ khi một số giá trị khiến kernel bị suy biến.

$w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$ $w$ $diag[\lambda_1^2, \ldots]$

$\lambda_i$ $\lambda_i$ $x$

Nếu các hàm cơ sở không trực giao thì sẽ khó khăn hơn để chỉ ra rằng một hiệp phương sai được xác định từ chúng là xác định dương. Rõ ràng, trong trường hợp đó bạn không xử lý việc mở rộng bản địa, nhưng với một số cách khác để xấp xỉ chức năng quan tâm.

Tuy nhiên, tôi không nghĩ mọi người thường bắt đầu từ một loạt các hàm và sau đó cố gắng xây dựng một hạt nhân hiệp phương sai từ chúng.

RE: Tính khác biệt của kernel và độ khác biệt của các hàm cơ sở. Tôi thực sự không biết câu trả lời cho câu hỏi này, nhưng tôi sẽ đưa ra quan sát sau đây.

Phân tích chức năng tiến hành bằng cách xấp xỉ các hàm (từ một không gian chiều vô hạn) bằng các tổng hữu hạn của các hàm đơn giản hơn. Để thực hiện công việc này, mọi thứ phụ thuộc vào loại hội tụ có liên quan. Thông thường, nếu bạn đang làm việc trên một tập hợp nhỏ gọn với các thuộc tính hội tụ mạnh (hội tụ đồng nhất hoặc tính tổng hợp tuyệt đối) trên các hàm quan tâm, thì bạn sẽ có được kết quả trực quan mà bạn đang tìm kiếm: các thuộc tính của các hàm đơn giản chuyển qua hàm giới hạn - ví dụ: nếu kernel là hàm phân biệt của một tham số, thì các hàm mở rộng phải là các hàm phân biệt của cùng một tham số và ngược lại. Trong các thuộc tính hội tụ yếu hơn hoặc các miền không gọn, điều này không xảy ra. Theo kinh nghiệm của tôi, có một ví dụ ngược lại với mọi ý tưởng "hợp lý" mà người ta nghĩ ra.

Lưu ý: Để hiểu được sự nhầm lẫn có thể có từ những người đọc câu hỏi này, lưu ý rằng việc mở rộng Gaussian của điểm 1 không phải là một ví dụ về sự mở rộng bản địa của điểm 2.

— Dấu phẩy
nguồn