Nghi ngờ về đạo hàm của phương trình hồi quy quy trình Gaussian trong một bài báo

Tôi đang đọc bản in lại này và tôi gặp khó khăn sau khi đưa ra các phương trình cho hồi quy quy trình Gaussian. Họ sử dụng các thiết lập và ký hiệu của Rasmussen & Williams . Do đó, nhiễu phụ gia, trung bình bằng không, tĩnh và phân phối bình thường với phương sai được giả sử:$\sigma^2_{noise}$

$$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$$

Một GP trước với giá trị trung bình bằng 0 được giả sử cho , có nghĩa là ∀ d ∈ N , f = { f ( x 1 ) , trộm , f ( x d ) } là một vectơ Gaussian với trung bình 0 và ma trận hiệp phương sai$f(\mathbf{x})$$\forall \ d\in N$$\mathbf{f}=\{f(\mathbf{x_1}),\dots,f(\mathbf{x_d})\}$

$$\Sigma_d=\pmatrix{k(\mathbf{x_1},\mathbf{x_1})& & k(\mathbf{x_1},\mathbf{x_d}) \\ & \ddots & \\k(\mathbf{x_d},\mathbf{x_1})& & k(\mathbf{x_d},\mathbf{x_d}) }$$

Từ bây giờ, chúng tôi giả định rằng siêu âm được biết đến. Sau đó, phương trình (4) của bài báo là rõ ràng:

$$p(\mathbf{f},\mathbf{f^*})=N\left(0,\pmatrix { K_{\mathbf{f},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f}} \\K_{\mathbf{f^*},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f^*}}} \right)$$

Đây là những nghi ngờ:

1. Phương trình (5):

   $$p(\mathbf{y}|\mathbf{f})=N\left(\mathbf{f},\sigma^2_{noise}I \right)$$

   $E[\mathbf{f}]=0$$E[\mathbf{y}|\mathbf{f}]=\mathbf{f}\neq0$$\mathbf{f}$$\mathbf{y}=\mathbf{c}+\boldsymbol{\epsilon}$$\mathbf{c}$$\boldsymbol{\epsilon}$

2. Dù sao, đó là phương trình (6) khó hiểu hơn đối với tôi:

   $$p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f})}{p(\mathbf{y})}$$

   Đó không phải là hình thức thông thường của định lý Bayes. Định lý Bayes sẽ là

   $$p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f},\mathbf{f^*})}{p(\mathbf{y})}$$

   Tôi sắp xếp để hiểu tại sao hai phương trình giống nhau: theo trực giác, vectơ phản hồi chỉ phụ thuộc vào vectơ tiềm ẩn tương ứng , do đó điều chỉnh trên hoặc trên sẽ dẫn đến cùng một phân phối. Tuy nhiên, đây là một trực giác, không phải là một bằng chứng! Bạn có thể giúp tôi chỉ ra tại sao$\mathbf{y}$$\mathbf{f}$$\mathbf{f}$$(\mathbf{f},\mathbf{f^*})$

   $$p(\mathbf{y}|\mathbf{f},\mathbf{f^*})=p(\mathbf{y}|\mathbf{f})$$

1. Nếu chúng tôi sửa , thì tất cả sự không chắc chắn trong đều xuất phát từ tiếng ồn. Vì vậy, đối với phương trình (5) trong bài viết, chúng ta đã đưa ra tại mỗi điểm nhiễu độc lập với phương sai và có nghĩa là . Chúng tôi thêm ý nghĩa ban đầu và nhận được câu trả lời.$\mathbf{f}$$\mathbf{y}$$\mathbf{f}$$\sigma_{noise}^2$$0$
2. Một cách để chứng minh đẳng thức được đề xuất là tìm phân phối tại bên tay trái và bên phải chất lượng. Cả hai đều là Gaussian, đối với bên trái chúng ta đã biết câu trả lời. Đối với phía bên tay phải, chúng tôi tiến hành theo cách tương tự. Hãy để chúng tôi tìm phân phối có điều kiện cho . Từ kết quả từ phần đầu tiên, chúng ta biết: Sử dụng quy tắc xác suất, thật dễ dàng để tích hợp từ $$p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = p(\mathbf{y} | \mathbf{f})$$ $(\mathbf{y}, \mathbf{y}^*)$ $$p(\mathbf{y}, \mathbf{y}^* | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}((\mathbf{f}, \mathbf{f}^*), \sigma^2_{noise} I).$$ $\mathbf{y}^*$$(\mathbf{y}, \mathbf{y}^*)$, vì ma trận hiệp phương sai là đường chéo và vectơ và là độc lập. Bằng cách này, chúng tôi nhận được: $\mathbf{y}$$\mathbf{y}^*$ $$p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}(\mathbf{f}, \sigma^2_{noise} I) = p(\mathbf{y} | \mathbf{f}).$$