Do quá trình Gaussian (hồi quy) có thuộc tính gần đúng phổ quát?

Bất kỳ hàm liên tục nào trên [a, b], trong đó a và b là các số thực, có thể được xấp xỉ hoặc tùy ý gần với hàm (trong một số định mức) bởi các Quy trình Gaussian (Hồi quy)?

gaussian-process approximation

— Michael D
nguồn

Hãy cụ thể hơn!

— Henry.L

Đúng! Vâng, thực sự, nó phụ thuộc vào chức năng hiệp phương sai, nhưng đối với một số người trong số họ làm . Dustin Trần và cộng sự. cũng đã chứng minh một định lý gần đúng phổ quát trong khung Bayes cho Quy trình Gaussian biến đổi , đây là một mô hình phức tạp hơn vì các hàm cong vênh, nhưng nó liên quan rất chặt chẽ. Tôi sẽ viết câu trả lời nếu câu hỏi được mở lại. PS lưu ý rằng xấp xỉ phổ quát, như đối với Mạng nơ-ron, chỉ giữ trên một tập hợp nhỏ gọn, không vượt quá tất cả .

R^{p}

$\mathbb{R}^p$

— DeltaIV

Tuyên bố "xấp xỉ phổ quát" trong câu hỏi này dường như có ít hoặc không có gì để làm với tuyên bố trong bài viết Wikipedia được tham chiếu. Thật vậy, thậm chí còn không rõ làm thế nào người ta có thể ước chừng một hàm với một quá trình . Bạn có thể giải thích những gì bạn đang cố gắng hỏi?

— whuber

@whuber Mặc dù các kỹ thuật có thể hơi lỏng lẻo, tôi nghĩ rằng câu hỏi về cơ bản có nghĩa là "Đối với một hàm đầu vào , có nhận ra một GP cụ thể nào đó gần với (trong một số chỉ tiêu) không?" Hoặc có lẽ, "Khi chúng ta quan sát vô số điểm mẫu từ một hàm và thực hiện suy luận GP tiêu chuẩn với dữ liệu đó, liệu hàm sau có được học có tiếp cận hàm thực (theo một nghĩa nào đó) không?" Hai cái này tất nhiên là thuộc tính khác nhau, nhưng tôi coi chúng đủ gần để có thể trả lời được (và do đó bỏ phiếu mở lại lần thứ năm).

f

$f$

f

$f$

f

$f$

f

$f$

— Dougal

Có lẽ, bạn muốn chứng minh sự hội tụ thay vì xấp xỉ. Mặt khác, bằng chứng rất đơn giản: bạn có thể lấy hàm như trước cho giá trị trung bình. Nó không nhiều hơn , nhưng nó hoạt động.

x = x

$x=x$

— Karel Macek

Như @Dougal lưu ý, có hai cách khác nhau để câu hỏi của bạn có thể được diễn giải. Chúng có liên quan chặt chẽ, ngay cả khi nó có vẻ không như vậy.

Giải thích đầu tiên là: đặt là tập con nhỏ gọn của (tính gọn nhẹ là nền tảng cho tất cả những điều sau đây !!!), hãy để là một hàm hiệp phương sai liên tục (hoặc hạt nhân) được xác định trên và biểu thị bằng không gian được định mức của các hàm liên tục trên , được trang bị định mức tối đa . Đối với bất kỳ hàm , có thể xấp xỉ với dung sai được chỉ định trước bởi một hàm trong RKHS (Tái tạo không gian hạt nhân Hilbert) liên quan đến $X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ $\epsilon$ $k$ ? Bạn cũng có thể tự hỏi RKHS là gì, tất cả những gì phải làm với Hồi quy quy trình Gaussian. RKHS là việc đóng không gian vectơ được hình thành bởi tất cả các tổ hợp tuyến tính hữu hạn có thể có của tất cả các hàm có thể nơi . Điều này liên quan rất chặt chẽ đến hồi quy quy trình Gaussian, bởi vì đã đưa ra quy trình Gaussian trước trên không gian , sau đó là (đóng của) không gian của tất cả các phương tiện sau có thể có thể được tạo ra bởi Gaussian Process Regression chính xác là RKHS. Như một vấn đề của thực tế, tất cả các phương tiện sau có thể có hình thức $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

f (x) = \sum_{i = 1}^{n} c_{i} k (x, x_{i})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

tức là, chúng là các tổ hợp tuyến tính hữu hạn của các hàm . Do đó, chúng tôi hỏi một cách hiệu quả nếu, đưa ra Quy trình Gaussian trước trên , cho bất kỳ chức năng ở đó luôn luôn là một hàm trong không gian (đóng của) tất cả các hàm có thể được tạo bởi GPR, gần như mong muốn với . $f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ $f$

Câu trả lời, đối với một số hạt nhân cụ thể (bao gồm hạt nhân Squared Exponential cổ điển, nhưng không bao gồm hạt nhân đa thức), là có . Nó có thể được chứng minh rằng cho hạt nhân như là dày đặc trong , nghĩa là, đối với bất kỳ và đối với bất kỳ sự khoan dung , có một trong như vậy đó . Lưu ý các giả định: là nhỏ gọn, là liên tục và là hạt nhân liên tục có thuộc tính gần đúng phổ quát. Xem tại đây $K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ $X$ $f$ $k$ cho một bằng chứng đầy đủ trong một bối cảnh tổng quát hơn (do đó phức tạp).

Kết quả này kém mạnh mẽ hơn nhiều so với cái nhìn đầu tiên. Ngay cả khi ở trong không gian (đóng) không gian của phương tiện sau có thể được tạo bởi GPR, chúng tôi vẫn chưa chứng minh rằng đó là giá trị trung bình cụ thể được trả về bởi GPR, cho một tập huấn đủ lớn, trong đó Tất nhiên, tập huấn luyện bao gồm các quan sát nhiễu của tại các điểm . Chúng tôi thậm chí còn không chứng minh được rằng trung bình sau được trả về bởi GPR hoàn toàn hội tụ, cho ! Đây thực sự là cách giải thích thứ hai được đề xuất bởi @Dougal. Câu trả lời cho câu hỏi này phụ thuộc vào câu trả lời cho câu hỏi đầu tiên: nếu không có chức năng nào $f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ $f^*$ trong RKHS là "xấp xỉ tốt" với , tất nhiên chúng ta không thể hy vọng rằng giá trị trung bình sau được trả về bởi GPR hội tụ với nó. Tuy nhiên, đó là một câu hỏi khác nhau. Nếu bạn cũng muốn có câu trả lời cho câu hỏi này, vui lòng đặt câu hỏi mới. $f$

— DeltaIV
nguồn