Cố gắng hiểu quá trình Gaussian

Tôi đang đọc sách GPML và trong Chương 2 (trang 15) , nó cho biết cách thực hiện hồi quy bằng Gaussian Process (GP), nhưng tôi gặp khó khăn khi tìm hiểu cách thức hoạt động của nó.

Trong suy luận Bayes cho các mô hình tham số, trước tiên chúng ta chọn ưu tiên cho các tham số mô hình , đó là ; thứ hai, với dữ liệu huấn luyện , chúng tôi tính toán khả năng ; và cuối cùng chúng ta có hậu tố của là , sẽ được sử dụng trong phân phối dự đoán , và ở trên là những gì chúng ta làm trong suy luận Bayes cho các mô hình tham số, phải không? $\theta$ $p(\theta)$ $D$ $p(D|\theta)$ $\theta$ $p(\theta|D)$

p (y^{*} | x^{*}, D) = \int p (y^{*} | x^{*}, θ) p (θ | D) d θ

$p(y^*|x^*,D)=\int p(y^*|x^*,\theta)p(\theta|D)d\theta$

Vâng, như đã nói trong cuốn sách, GP là không tham số, và theo như tôi hiểu, sau khi chỉ định hàm trung bình và hàm hiệp phương sai , chúng ta có GP trên hàm , và đây là ưu tiên của . Bây giờ tôi có bộ dữ liệu đào tạo không có tiếng ồn Tôi nghĩ rằng tôi nên tính toán khả năng và sau đó là sau , và cuối cùng sử dụng hậu thế để đưa ra dự đoán. $m(x)$ $k(x,x')$ $f$

f \sim G P (m, k)

$f \sim GP(m,k)$

f

$f$

D = {(x_{1}, f_{1}), . . ., (x_{n}, f_{n})}

$D=\{(x_1,f_1),...,(x_n,f_n)\}$

p (D | f)

$p(D|f)$

p (f | D)

$p(f|D)$

TUY NHIÊN, đó không phải là những gì cuốn sách làm! Ý tôi là, sau khi chỉ định đó, nó không tính toán khả năng và hậu quả, mà chỉ đi thẳng vào dự đoán dự đoán. $p(f)$

Câu hỏi:

1) Tại sao không tính toán khả năng và hậu thế? Chỉ vì GP là không tham số, vì vậy chúng tôi không làm điều đó?

2) Như những gì được thực hiện trong cuốn sách (trang 15 ~ 16), nó xuất phát phân phối dự đoán thông qua phân phối chung của tập dữ liệu huấn luyện và tập dữ liệu kiểm tra , được gọi là khớp trước . Được rồi, điều này làm tôi bối rối, tại sao lại liên kết chúng lại với nhau? $\textbf f$ $\textbf f^*$

3) Tôi thấy một số bài báo gọi là biến tiềm ẩn , tại sao? $f$

machine-learning gaussian-process

— trái bơ
nguồn

Cá nhân, tôi không nghĩ hồi quy GP thuộc về suy luận Bayes, vì nó không tuân theo các bước trong phương pháp Bayes. Cái gọi là phân phối dự đoán trong GP có được bằng cách kết hợp dữ liệu huấn luyện và kiểm tra trước , và sau đó dựa trên dữ liệu đào tạo, nó không sử dụng khả năng hoặc hậu nghiệm.

— bơ

và trên đây là những gì chúng ta làm trong suy luận Bayes cho các mô hình tham số, phải không?

Cuốn sách đang sử dụng tính trung bình của mô hình Bayes, tương tự đối với các mô hình tham số hoặc bất kỳ phương pháp Bayes nào khác, với điều kiện là bạn có thông số sau hơn các tham số của mình.

Bây giờ tôi có một bộ dữ liệu đào tạo không có tiếng ồn

Nó không cần phải 'không tiếng ồn'. Xem các trang sau.

TUY NHIÊN, đó không phải là những gì cuốn sách làm! Ý tôi là, sau khi chỉ định p (f) trước đó, nó không tính toán khả năng và hậu quả, mà chỉ đi thẳng vào dự đoán dự đoán.

Xem điều này: https://people.cs.umass.edu/~wallach/talks/gp_intro.pdf

Tôi tin rằng, ở trang 17 chúng ta có khả năng trước và khả năng cao hơn. Tôi tin rằng nếu bạn viết các đạo hàm, và tìm ra hậu thế, và sau đó trung bình so với hậu nghiệm để dự đoán (như trong chế độ xem không gian trọng lượng), nó sẽ dẫn đến các phương trình giống như trong trang 19 cho trung bình và hiệp phương sai.

— Daniel
nguồn

Cảm ơn câu trả lời của bạn, nhưng tôi đã thấy rằng nhiều cuốn sách không đề cập đến Bayesian, họ chỉ tính toán phân phối có điều kiện , và nói đây là hậu thế, cái quái gì vậy?

p (f^{*} | f)

$p(f^*|f)$

— bơ

Tìm điều kiện về cơ bản là sử dụng công thức Bayes. Viết nội dung trong công thức Bayes thông thường là một chút rườm rà cho bác sĩ gia đình; họ chỉ đề cập đến việc tìm kiếm điều kiện và ....

— Daniel

AFAIK, điều kiện được tính theo cách này, , nhưng công thức Bayes là . Tôi không thấy lý do tại sao việc tìm kiếm điều kiện lại sử dụng công thức Bayes, bạn có thể vui lòng cụ thể hơn không?

p (x | y) = p (x, y) / p (y)

$p(x|y)=p(x,y)/p(y)$

p (x | y) = p (y | x) p (x) / p (y)

$p(x|y)=p(y|x)p(x)/p(y)$

— bơ

Và như bạn đã nói trong bình luận, "viết nội dung trong công thức Bayes thông thường là cồng kềnh đối với GP", theo công thức Bayes thông thường , ý bạn là, trước tiên hãy tính sau, sau đó tính toán phân phối dự đoán .

p (f | D)

$p(f|D)$

p (f^{*} | D) = \int p (f^{*} | f) p (f | D) d f

$p(f^*|D)=\int p(f^*|f)p(f|D)df$

— quả bơ