Mô hình Bayes sử dụng đa biến thông thường với hiệp phương sai

Giả sử bạn có một biến giải thích trong đó đại diện cho tọa độ đã cho. Bạn cũng có một biến trả lời . Bây giờ, chúng ta có thể kết hợp cả hai biến như: ${\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)$ $s$ ${\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right)$

W (s) = (\begin{array}{ccc} X (s) \\ Y (s) \end{array}) \sim N (μ (s), T)

${\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T)$

Trong trường hợp này, chúng tôi chỉ cần chọn $\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; \mu_{2}\right)^{T}$ và $T$ là ma trận hiệp phương sai mô tả mối quan hệ giữa $X$ và $Y$ . Điều này chỉ mô tả giá trị của $X$ và $Y$ tại $s$ . Vì chúng tôi có nhiều điểm hơn từ các vị trí khác cho $X$ và $Y$ , chúng tôi có thể mô tả nhiều giá trị hơn của ${\bf{W}}(s)$ theo cách sau:

(\begin{array}{ccc} X \\ Y \end{array}) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) = N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Bạn sẽ nhận thấy rằng chúng tôi đã sắp xếp lại các thành phần của $\bf{X}$ và $\bf{Y}$ để lấy tất cả $X(s_i)$ trong một cột và sau đó, nối tất cả $Y(s_i)$ lại với nhau. Mỗi thành phần $H(\phi)_{ij}$ là một hàm tương quan $\rho(s_i, s_j)$ và $T$ như trên. Lý do chúng tôi có hiệp phương sai $T\otimes H(\phi)$ là bởi vì chúng tôi cho rằng nó có thể tách các ma trận hiệp phương sai như $C(s, s')=\rho(s, s') T$ .

Câu hỏi 1: Khi tôi tính , điều tôi thực sự đang làm là tạo ra một tập hợp các giá trị của dựa trên , chính xác? Tôi đã có vì vậy tôi sẽ quan tâm hơn đến việc dự đoán một điểm mới . Trong trường hợp này, tôi nên có một ma trận được định nghĩa là ${\bf{Y}}\mid{\bf{X}}$ $\bf{Y}$ $\bf{X}$ $\bf{Y}$ $y(s_{0})$ $H^{*}(\phi)$

H^{*} (ϕ) = (\begin{array}{ccc} H (ϕ) & h \\ h & ρ (0, ϕ) \end{array})

$H^{*}(\phi) = \left(\begin{array}{ccc}H(\phi) & \boldsymbol{h} \\ \boldsymbol{h}& \rho(0,\phi) \end{array}\right)$

trong đó là một vectơ . Do đó, chúng ta có thể xây dựng một vectơ (không cần sắp xếp lại): $\boldsymbol{h}(\phi)$ $\rho(s_{0} - s_{j};\phi)$

W^{*} = {(W (s_{1}), \dots, W (s_{n}), W (s_{0}))}^{T} \sim N (\begin{array}{ccc} 1_{n + 1} \otimes (\begin{array}{ccc} μ_{1} \\ μ_{2} \end{array}) \end{array}, H (ϕ)^{*} \otimes T)

${\bf{W^{*}}} = \left({\bf{W}}(s_{1}), \ldots, {\bf{W}}(s_{n}), {\bf{W}}(s_{0})\right)^{T} \sim N\left(\begin{array}{ccc}\boldsymbol{1}_{n+1} \otimes \left( \begin{array}{ccc} \mu_{1} \\ \mu_{2} \end{array} \right)\end{array}, H(\phi)^{*}\otimes T\right)$

Và bây giờ tôi chỉ sắp xếp lại để nhận phân phối chung và lấy . $\left(\begin{array}{ccc} {\bf{X}} \\ x(s_0) \\{\bf{Y}} \\ y(s_0)\end{array} \right)$ $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$

Điều này có đúng không?

Câu hỏi 2: Để dự đoán, bài báo tôi đang đọc chỉ ra rằng tôi phải sử dụng phân phối có điều kiện này và có được một hậu thế phân phối , nhưng tôi không chắc chắn làm thế nào để có được phân phối sau cho các tham số. Có lẽ tôi có thể sử dụng phân phối mà tôi nghĩ hoàn toàn giống với và sau đó chỉ cần sử dụng định lý Bayes để thu được $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$ $p(\mu, T, \phi\mid x(s_0), {\bf{Y}}, {\bf{X}})$ $\left(\begin{array}{ccc}{\bf{X}} \\ x(s_0)\\ {\bf{Y}}\end{array}\right)$ $p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)$ $p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}}) \propto p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)p(\mu, T, \phi)$

Câu 3: Ở cuối chương trình con, tác giả nói điều này:

Để dự đoán, chúng tôi không có . Điều này không tạo ra bất kỳ vấn đề mới nào vì nó có thể được coi là một biến tiềm ẩn và được tích hợp vào Điều này chỉ dẫn đến một kết quả rút ra bổ sung trong mỗi lần lặp Gibbs và là một bổ sung nhỏ cho nhiệm vụ tính toán. ${\bf{X}}(s_0)$ $\bf{x}'$

Đoạn đó có nghĩa là gì?

Nhân tiện, quy trình này có thể được tìm thấy trong bài báo này (trang 8), nhưng như bạn thấy, tôi cần thêm một chút chi tiết.

Cảm ơn!

— Robert Smith
nguồn

Bình chọn để di chuyển theo yêu cầu OP .

Tôi sẽ nói chính xác cho cả câu trả lời của bạn cho câu hỏi 1 và 2. Câu hỏi 3 có nghĩa là không được quan sát được coi là một tham số bổ sung, trên đầu trang , sử dụng điều kiện) đầy đủ như trước trên .

X (s_{0})

$X(s_0)$

μ, T, ϕ

$\mu,T,\phi$

p (x (s_{0}) ∣ X,, Y, μ, T, ϕ)

$p(x(s_0)\mid{\bf{X}}, , {\bf{Y}},\mu, T, \phi)$

X (s_{0})

$X(s_0)$

— Tây An

Câu hỏi 1: Cho mô hình xác suất chung của bạn các phân phối có điều kiện của cho cũng là Bình thường, với trung bình và ma trận hiệp phương sai

(\begin{array}{ccc} X \\ Y \end{array}) \sim N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), [\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}]) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) \sim N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), \begin{bmatrix} \boldsymbol\Sigma_{11} & \boldsymbol\Sigma_{12} \\ \boldsymbol\Sigma_{21} & \boldsymbol\Sigma_{22} \end{bmatrix} \right)=N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Y

$\bf{Y}$

X

$\bf{X}$

μ_{2} + Σ_{21} Σ_{11}^{- 1} (X - μ_{1})

$\boldsymbol\mu_2 + \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \left( \mathbf{X} - \boldsymbol\mu_1\right)$

Σ_{22} - Σ_{21} Σ_{11}^{- 1} Σ_{21} .

$\boldsymbol\Sigma_{22} - \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \boldsymbol\Sigma_{21}.$ (Các công thức đó được sao chép nguyên văn từ trang Wikipedia trên các quy tắc đa biến .) Áp dụng tương tự cho kể từ là một vectơ bình thường khác.

p (y (s_{0}) ∣ x (s_{0}), X, Y)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

(y (s_{0}), x (s_{0}), X, Y)

$(y(s_0), x(s_0), {\bf{X}}, {\bf{Y}})$

Câu 2: Dự đoán được định nghĩa là tức là bằng cách tích hợp các tham số bằng cách sử dụng phân phối sau của các hậu thế đó, đưa ra dữ liệu hiện tại . Vì vậy, có thêm một chút để trả lời đầy đủ. Rõ ràng, nếu bạn chỉ cần mô phỏng từ dự đoán, khái niệm mô phỏng chung của bạn từ và sau đó từ là hợp lệ. $p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

p (y (s_{0}) | x (s_{0}), X, Y) = \int p (y (s_{0}) | x (s_{0}), X, Y, μ, T, ϕ) p (μ, T, ϕ | x (s_{0}), X, Y) d μ d T d ϕ,

$p(y(s_0) | x(s_0), {\bf{X}}, {\bf{Y}})=\int p(y(s_0)| x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi| x(s_0), {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,,$

(X, Y, x (s_{0}))

$({\bf{X}}, {\bf{Y}},x(s_0))$

p (μ, T, ϕ ∣ X, x (s_{0}), Y)

$p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}})$

p (y (s_{0}) ∣ x (s_{0}), X, Y, μ, T, ϕ)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)$

Câu hỏi 3: Trong trường hợp là không quan sát, các cặp có thể được dự đoán từ một tiên đoán $x(s_0)$ $(x(s_0),y(s_0))$

p (x (s_{0}), y (s_{0}) ∣ X, Y) = \int p (x (s_{0}), y (s_{0}) ∣ X, Y, μ, T, ϕ) p (μ, T, ϕ ∣ X, Y) d μ d T d ϕ .

$p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}})=\int p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi\mid {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,.$

Khi mô phỏng từ dự đoán này, vì nó không có sẵn ở dạng có thể quản lý, bộ lấy mẫu Gibbs có thể được chạy mà mô phỏng lặp đi lặp lại

$\mu\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\phi$
$T\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),\mu,\phi$
$\phi\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\mu$
$x(s_0)\mid {\bf{X}}, {\bf{Y}},y(s_0),\phi,T,\mu$
$y(s_0)\mid {\bf{X}}, {\bf{Y}},x(s_0),\phi,T,\mu$

hoặc cách khác hợp nhất các bước 4 và 5 thành một bước duy nhất

$x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\phi,T,\mu$

— Tây An
nguồn