Làm thế nào để tôi hoàn thành hình vuông với khả năng bình thường và bình thường trước?

Làm thế nào để tôi hoàn thành hình vuông từ điểm tôi đã rời đi, và điều này có đúng không?

Tôi có một bình thường trước có dạng , để có được:p ( β | σ 2 ) ~ N ( 0 , σ 2 V $\beta$$p(\beta|\sigma^2)\sim \mathcal{N}(0,\sigma^2V)$

$p(\beta|\sigma^2)=(2\pi\sigma^2V)^\frac{p}{2}\exp[-\frac{1}{2\sigma^2}\beta^T\beta]$

trong đó là .p Σ i = 1 β 2 $\beta^T\beta$$\sum\limits_{i=1}^p \beta_i^2$

Khả năng của tôi có một phân phối bình thường cho các điểm dữ liệu y có dạng$p(y|\beta,\sigma^2)\sim\mathcal{N}(B\beta,\sigma^2I)$

$p(y|\beta,\sigma^2)=(2\pi \sigma^2V)^\frac{n}{2}\exp[-\frac{1}{2\sigma^2}({\bf y}-{\bf B}{\bf \beta})^T({\bf y}-{\bf B}{\bf \beta})]$

(Lưu ý rằng cũng là một ma trận / vectơ, \ bf không hoạt động.)$\beta$

Để có được hậu thế của tôi cho tôi đã kết hợp ở trên, chỉ lấy các phần theo cấp số nhân, sau đó mở rộng để có được:$\beta$

$\exp[-\frac{1}{2\sigma^2}({\bf y}^T{\bf y}-{\bf y}^T{\bf B}\beta-\beta{\bf B}^T{\bf y}-\beta^T{\bf B}^T{\bf B}\beta)]\exp[-\frac{1}{2\sigma^2}({\bf \beta}^T{\bf B})]$ .

Tôi đã bỏ cụm từ , vì đây không phải là chức năng của .$({\bf y}^T{\bf y})$$\beta$

Đưa vào một biểu thức mà không theo cấp số nhân:

$-\frac{1}{2\sigma^2}(-{\bf y}^T{\bf B}\beta-\beta{\bf B}^T{\bf y}-\beta^T{\bf B}^T{\bf B}\beta+{\bf \beta}^T{\bf B})$ .

Tôi biết tôi cần kết hợp các thuật ngữ tương tự và chuyển sang hình thức phân phối bình thường đa biến, đó là điều tôi đang hướng tới, nhưng tôi không chắc chắn làm thế nào để làm điều này? Tôi có lẽ phải thêm một thuật ngữ phụ vào biểu thức để đưa nó vào đúng mẫu?

Lưu ý: Đây không phải là bài tập về nhà, đây là một dự án, nhưng kiến ​​thức làm việc Bayes của tôi không tốt chút nào và vì vậy tôi cần hiểu rõ về công việc. Tôi dự định tích hợp và sau đó là sau khi chuyển sang dạng đa biến.σ $\beta$$\sigma^2$

Tôi sẽ bắt đầu lại từ đầu, vì bài đăng gốc có một số lỗi chính tả như sai, bỏ ma trận , v.v.$V$

Bạn đã chỉ định và khả năng: .p ( y | β ) = N ( B β , σ 2 I $p(\beta)=\mathcal{N}( 0, \sigma^2 V )$$p(y | \beta ) = \mathcal{N}( B\beta, \sigma^2I )$

Chúng ta có thể viết mỗi thứ này hoàn toàn dưới dạng biểu thức của các thuật ngữ bên trong phụ thuộc vào , nhóm tất cả các thuật ngữ không liên quan đến vào một hằng số duy nhất:beta $\exp$$\beta$$\beta$

$\log p( \beta ) + \mbox{const} = -\frac{1}{2\sigma^2} \beta^T V^{-1} \beta$

$\log p( y | \beta ) + \mbox{const} = -\frac{1}{2\sigma^2}( \beta^T B^TB \beta - 2y^T B \beta ) \quad$ (lưu ý rằng luôn)$y^TB\beta = \beta^T B^T y$

Đã thêm chúng vào không gian nhật ký và thu thập như các thuật ngữ mang lại hậu quả nhật ký không chuẩn hóa

$\log p( \beta | y ) + \mbox{const} = -\frac{1}{2\sigma^2}( \beta^T(V^{-1} + B^TB)\beta - 2y^T B \beta )\quad$ (1)

... ở đây, chúng tôi đã sử dụng danh tính tiêu chuẩn cho bất kỳ vectơ và ma trận có kích thước phù hợp.$x^TAx + x^TCx = x^T(A+C)x$$x$$A,C$

OK, mục tiêu của chúng tôi bây giờ là "hoàn thành" hình vuông. Chúng tôi muốn một biểu thức của biểu mẫu bên dưới, điều này sẽ chỉ ra rằng hậu thế cho là Gaussian.$\beta$

$\log p( \beta | y ) + \mbox{const} = (\beta - \mu_p)^T \Lambda_p (\beta - \mu_p ) = \beta^T \Lambda_p \beta -2\mu_p^T \Lambda_p \beta + \mu_p^T \Lambda_p \mu_p$

trong đó các tham số xác định ma trận hiệp phương sai trung bình và nghịch đảo tương ứng. $\mu_p, \Lambda_p$

Vâng, bằng cách kiểm tra eqn. (1) trông rất giống mẫu này nếu chúng ta đặt

$\Lambda_p = V^{-1} + B^TB \quad$ và $\quad \mu_p = \Lambda_p^{-1}B^Ty$

Cụ thể, chúng tôi có thể chỉ ra rằng sự thay thế này tạo ra mỗi thuật ngữ cần thiết từ (1):

Thuật ngữ bậc hai:$\beta^T \Lambda_p \beta = \beta^T( V^{-1} + B^TB)\beta$

thuật ngữ tuyến tính:$\mu_p^T \Lambda_p \beta = ( \Lambda_p^{-1}B^Ty )^T \Lambda_p \beta = y^T B \Lambda_p^{-1} \Lambda_p \beta = y^T B \beta$

.... ở đây chúng tôi đã sử dụng các sự kiện và do tính đối xứng ( là đối xứng, vì vậy là nghịch đảo của nó).$(AB)^T = B^T A^T$$(\Lambda_p^{-1})^T =\Lambda_p^{-1}$$\Lambda_p$

Tuy nhiên, điều này khiến chúng tôi có thêm một thuật ngữ khó chịu . Để tránh điều này, chúng tôi chỉ trừ thuật ngữ này khỏi kết quả cuối cùng của chúng tôi. Do đó, chúng ta có thể thay thế trực tiếp các tham số thành (1) để có được$\mu_p^T \Lambda_p \mu_p$$\mu_p, \Lambda_p$

$\log p( \beta | y ) + \mbox{const} = -\frac{1}{2\sigma^2}[ (\beta-\mu_p)^T\Lambda_p(\beta-\mu_p) - \mu_p\Lambda_p\mu_p ]$

vì thuật ngữ cuối cùng không đổi đối với , chúng tôi chỉ có thể đưa nó vào hằng số chuẩn hóa lớn ở phía bên trái và chúng tôi đã đạt được mục tiêu của mình.$\beta$