Khoảng dự đoán quá trình Gaussian

Làm thế nào có thể đánh giá khoảng dự đoán của một quá trình Gaussian? Tôi không biết cách ước tính khoảng này mặc dù tôi có thể tìm thấy khoảng tin cậy 95% cho đường trung bình.

Tôi sẽ trả lời câu hỏi của bạn trong khuôn khổ Bayes. Nếu bạn đặc biệt cần một giải pháp thường xuyên, bạn có thể nhận được một bằng cách sửa đổi một chút câu trả lời của tôi, nhưng tôi nghĩ rằng nó sẽ đánh giá thấp sự không chắc chắn thực tế: bạn sẽ cần một cách tiếp cận thường xuyên hoàn toàn, nhưng tôi không biết làm thế nào trong trường hợp cụ thể này .

Để tóm tắt ngắn gọn khung công tác GPR (Gaussian Regression) của Bayesian, bạn giả sử mô hình

$$y=f(x|\boldsymbol{\theta})+\epsilon$$

trong đó , tức là , các biến hoặc giá trị hàm tiềm ẩn được phân phối dưới dạng Quá trình Gaussian, theo điều kiện trên hyperparameter và là tiếng ồn Gaussian thông thường.$f(x|\boldsymbol{\theta})\sim \mathcal{GP}(\mu(x|\boldsymbol{\theta}),k(x,x'|\boldsymbol{\theta}))$ $\boldsymbol{\theta}$$\epsilon\sim\mathcal{N}(0,\sigma^2)$

---

Trên thực tế, cũng là một siêu tham số, vì vậy nó thực sự thuộc về , nhưng tôi muốn nhấn mạnh rằng GPR thường giả định cấu trúc hiệp phương sai tầm thường cho nhiễu.$\sigma^2$$\boldsymbol{\theta}$

---

Phân phối dự báo sau của tại một điểm mới , có điều kiện trên dữ liệu và trên hyperparameter , là . Bây giờ, giả sử rằng hàm trung bình của Quá trình Gaussian bằng 0: trường hợp chung cũng có thể được xử lý, nhưng chúng ta hãy thử và giữ mọi thứ đơn giản. Sau đó, sử dụng máy móc GPR thông thường, chúng tôi nhận được$y_*$$x_*$$\{(x_1,y_1,)\dots,(x_d,y_d)\}=(\mathbf{x},\mathbf{y})$$\boldsymbol{\theta}$$p(y_*|\boldsymbol{\theta},\mathbf{y})$

$$p(f_*|\boldsymbol{\theta},\mathbf{y}) = \mathcal{N}(\mathbf{k}_*^T(K+\sigma^2I)^{-1}\mathbf{y},k(x_*,x_*)-\mathbf{k}_*^T(K+\sigma^2I)^{-1}\mathbf{k}_*)$$

Ở đâu

$$K=\pmatrix{k(x_{1},x_{1};\boldsymbol{\theta})& & k(x_{1},x_{d};\boldsymbol{\theta}) \\ & \ddots & \\k(x_{1},x_{d};\boldsymbol{\theta})& & k(x_{d},x_{d};\boldsymbol{\theta}) }$$

$$\mathbf{k}_*=\pmatrix{k(x_*,x_{1};\boldsymbol{\theta}) \\ \vdots \\k(x_*,x_{d};\boldsymbol{\theta})}$$

tức là, có điều kiện trên dữ liệu quan sát và siêu đường kính, phân bố biến tiềm ẩn tại một điểm mới vẫn là Gaussian, với độ lệch trung bình và độ lệch chuẩn được hiển thị ở trên.

Tuy nhiên, chúng tôi quan tâm đến việc phân phối một quan sát mới , không phải là một biến tiềm ẩn mới. Điều này là dễ dàng bởi vì trong mô hình của chúng tôi, nhiễu là phụ gia, độc lập với tất cả các biến khác và thường được phân phối với giá trị trung bình bằng 0 và phương sai , do đó chúng tôi chỉ cần thêm phương sai nhiễu:$y_*$$\sigma^2$

$$p(y_*|\boldsymbol{\theta},\mathbf{y}) = \mathcal{N}(\mathbf{k}_*^T(K+\sigma^2I)^{-1}\mathbf{y},k(x_*,x_*)-\mathbf{k}_*^T(K+\sigma^2I)^{-1}\mathbf{k}_*+\sigma^2)$$

Lưu ý rằng tôi đang xem xét một quan sát mới duy nhất , vì vậy phân phối chỉ là một Gaussian đơn biến và phương sai thực sự là một phương sai chứ không phải là một phương sai ma trận phương sai hiệp phương sai.$y_*$$p(y_*|\boldsymbol{\theta},\mathbf{y})$

Để thực sự sử dụng biểu thức này, bạn cần các giá trị cho các siêu đường kính, không được biết đến. Có 2 cách trong số này:

1. (giải pháp phổ biến nhất) các siêu đường kính được ước tính bằng MLE hoặc MAP và biểu thức trên được sử dụng. Cách tiếp cận này hoàn toàn bỏ qua sự không chắc chắn trong ước tính của siêu đường kính, do đó nó có vẻ không an toàn lắm.

2. theo cách tiếp cận Bayes hoàn toàn, bạn không thực sự quan tâm đến , nhưng trong phân phối dự đoán của đưa ra , được lấy bởi sau khi tích hợp các siêu đường kính:$p(y_*|\boldsymbol{\theta},\mathbf{y})$$y_*$$\mathbf{y}$$p(y_*|\boldsymbol{\theta},\mathbf{y})$

   $$p(y_*|\mathbf{y})=\int{p(y_*,\boldsymbol{\theta}|\mathbf{y})}d\boldsymbol{\theta}=\int{p(y_*|\boldsymbol{\theta},\mathbf{y})p(\boldsymbol{\theta}|\mathbf{y})}d\boldsymbol{\theta}$$

Có hai vấn đề ở đây: được phân phối trước cho các siêu đường kính , sau đó phân phối sau , xuất hiện trong tích phân, là không được biết nhưng phải được bắt nguồn bằng định lý Bayes, mà đối với hầu hết các siêu nhân có nghĩa là phải chạy MCMC. Do đó, chúng tôi không có biểu thức rõ ràng cho , mà chỉ có các mẫu từ MCMC. Và ngay cả khi chúng ta có biểu thức cho , thì tích phân cho vẫn không thể đánh giá ở dạng đóng trong hầu hết các trường hợp. Giải pháp là mô phỏng Bayes phân cấp: cho mỗi mẫu$p(\boldsymbol{\theta})$$p(\boldsymbol{\theta}|\mathbf{y})$$p(\boldsymbol{\theta}|\mathbf{y})$$p(\boldsymbol{\theta}|\mathbf{y})$$p(y_*|\mathbf{y})$$\hat{\boldsymbol{\theta}}_i$ thu được từ với MCMC, bạn vẽ một mẫu từ . Sử dụng các mẫu này để ước tính khoảng HPD cho , và bạn đang ở đó.$p(\boldsymbol{\theta}|\mathbf{y})$$y^*_i$$p(y_*|\hat{\boldsymbol{\theta}}_i,\mathbf{y})$$m$$y^*_i$$y_*$

Từ quan điểm trực quan, giải pháp thứ hai rút ra các mẫu từ phân phối trong đó các siêu đường kính "không cố định", nhưng được phép thay đổi ngẫu nhiên theo phân phối sau . Do đó, khoảng dự đoán thu được trong trường hợp thứ hai có tính đến độ không đảm bảo do chúng ta thiếu kiến ​​thức về siêu đường kính.$p(\boldsymbol{\theta}|\mathbf{y})$

Nếu bạn đang đề cập đến hồi quy Bayes với khả năng Gaussian, phân phối sau của quy trình Gaussian là Gaussian: trong đó là vị trí dữ liệu và là các giá trị dữ liệu và và tính toán với suy luận Bayes: trong đó là vectơ nhân giữa và và với

$$p(f(x)\mid X_n,Y_n) = \mathcal{N}\big(\mu_n(x),\sigma_n^2(x)\big)\,,$$ $X_n$$Y_n$$\mu_n$$\sigma_n^2$ $$\mu_n(x) = \mathbf{k}_n(x)^\top C_n^{-1}Y_n \text{ and } \sigma_n^2(x) = k(x,x) - \mathbf{k}_n(x)^\top C_n^{-1} \mathbf{k}_n(x)\,,$$ $\mathbf{k}_n(x) = [k(x_t, x)]_{x_t \in X_n}$$x$$X_n$$C_n = K_n + \eta^2 I$$\eta^2$ độ lệch chuẩn của nhiễu quan sát và ma trận hạt nhân (xem chương thứ hai của Rasmussen và Cuốn sách của Williams ).$K_n=[k(x_t,x_{t'})]_{x_t,x_{t'} \in X_n}$

Do đó, khoảng tin cậy ~ 95% cho chỉ đơn giản là .$x$$\mu_n(x) \pm 2 \sigma_n(x)$