Các dự đoán từ Bayesian Gaussian Regression thường được phân phối?

Điều này không liên quan trực tiếp đến câu hỏi khác của tôi , mặc dù chủ đề là như nhau. Đây có lẽ cũng là một câu hỏi rất tầm thường, nhưng hãy đồng ý với tôi :) Tôi đã thảo luận với đồng nghiệp về việc sử dụng Hồi quy quy trình Gaussian và anh ta đưa ra hai khẳng định tôi không đồng ý:

1. GPR chỉ có thể được sử dụng để mô hình hóa một phản ứng khi các yếu tố dự đoán được phân phối bình thường.
2. đáp ứng của mô hình GPR luôn được phân phối bình thường.

Tôi tin rằng khẳng định đầu tiên là sai (thực ra, GPR không đưa ra giả định nào về phân phối chung của các yếu tố dự đoán), trong khi điều thứ hai chỉ đúng nếu siêu âm được cố định. Tuy nhiên, nếu chúng ta tuân theo một cách tiếp cận Bayes hoàn toàn và chúng ta rút ra được phân phối xác suất sau của siêu đường kính, thì phân phối dự báo sau sẽ không được phân phối bình thường nữa: đó chỉ là phân phối của đáp ứng, có điều kiện trên siêu âm và quan sát , đó là phân phối chuẩn. Trong công thức:

$$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$$

và giả sử GP trước $f(\mathbf{x})$. Để cho$\{(\mathbf{x_1},y_1,)\dots,(\mathbf{x_d},y_d,)\}$ là một tập hợp các quan sát, sau đó phân phối xác suất sau của siêu đường kính là

$$p(\boldsymbol{\theta}|\mathbf{y})\propto p(\mathbf{y}|\boldsymbol{\theta})p(\boldsymbol{\theta})$$

Bây giờ, việc phân phối một vectơ phản hồi mới , có điều kiện trên các siêu đường kính và trên các quan sát, tức là , thường được phân phối (phải không?). Tuy nhiên, phân phối dự báo sau là$\mathbf{y^*}$$p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})$

$$p(\mathbf{y^*}|\mathbf{y})=\int{p(\mathbf{y^*},\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})}d\boldsymbol{\theta}=\int{p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})p(\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})}d\boldsymbol{\theta}$$

Trong tích phân, chỉ có thuật ngữ là một pdf (đa biến) pdf bình thường. và có thể có bất kỳ phân phối nào chúng tôi cho là phù hợp để mô hình hóa vấn đề thống kê trong tay. Không có lý do gì để nghĩ rằng wrt của sản phẩm của ba bản phân phối này thường được phân phối, do đó chúng ta không thể nói rằng vectơ thường được phân phối. Điều này có đúng không?$p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})$$p(\mathbf{y}|\boldsymbol{\theta})$$p(\boldsymbol{\theta})$$\boldsymbol{\theta}$$\mathbf{y^*}|\mathbf{y}$

1. GPR không đưa ra bất kỳ giả định thống kê nào về các yếu tố dự đoán. Họ thậm chí không phải là số! Tất cả những gì bạn cần là một hàm trung bình trước và hàm hiệp phương sai, cũng có thể được xác định cho dữ liệu không phải là số (liên kết rời rạc, chuỗi, bộ, v.v.).
2. Đây là loại đúng hoặc giả định khi mọi người nói về GPR, bởi vì khía cạnh thú vị nhất của nó là cho phép suy luận chính xác: về cơ bản nó chỉ sôi sục với đại số tuyến tính. Thời điểm bạn giới thiệu linh hoạt hơn, ví dụ như tiếng ồn không phải là Gaussian, các linh mục vượt quá siêu âm, bạn mất tài sản quan trọng này và phải dùng đến suy luận gần đúng. Điều đó nói rằng, thậm chí sau đó thường có những lợi thế tính toán khi sử dụng các mô hình dựa trên GPR.