Các thông số của một hậu thế Wishart-Wishart là gì?

Khi suy ra ma trận chính xác của một phân phối bình thường được sử dụng để tạo các vectơ chiều chúng ta thường đặt một Wishart trước hơn vì phân phối Wishart là liên hợp trước giới hạn của phân phối chuẩn nhiều biến số với phương sai đã biết và phương sai chưa biết: nơi là bậc tự do và sự $\boldsymbol{\Lambda}$ $N$ $\mathbf{x_1},..,\mathbf{x_N}$

\begin{aligned} x_{i} & \sim N (μ, Λ^{- 1}) \end{aligned}

$\begin{align} \mathbf{x_i} &\sim \mathcal{N}(\boldsymbol{\mu, \Lambda^{-1}}) \\ \end{align}$

Λ

$\boldsymbol{\Lambda}$

\begin{aligned} Λ & \sim W (υ, Λ_{0}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}$

υ

$\upsilon$

Λ_{0}

$\boldsymbol{\Lambda_0}$ ma trận tỷ lệ . Để thêm mạnh mẽ và linh hoạt cho mô hình, chúng tôi đặt một siêu nhân lên trên các tham số của Wishart. Chẳng hạn, Görür và Rasmussen đề xuất:

started

\begin{aligned} Λ_{0} & \sim W (D, \frac{1}{D} Λ_{x}) \\ \frac{1}{υ - D + 1} & \sim G (1, \frac{1}{D}) \end{aligned}

$\begin{align} \mathbf{\Lambda_0} &\sim \mathcal{W}(D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \frac{1}{\upsilon-D + 1} &\sim \mathcal{G}(1, \frac{1}{D}) \\ \end{align}$ trong đó

G

$\mathcal{G}$ là phân phối Gamma.

Câu hỏi:

để lấy mẫu sau của $\boldsymbol{\Lambda_0}$

\begin{aligned} p (Λ_{0} | X, Λ, υ, D, Λ_{x}) \propto W (Λ | υ, Λ_{0}) W (Λ_{0} | D, \frac{1}{D} Λ_{x}) \end{aligned}

$\begin{align} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \end{align}$

gia đình và các thông số của hậu thế này là gì?

Tái bút

Bỏ tất cả các yếu tố không phụ thuộc vào và xác định các tham số bằng các tham số của Wihsart Tôi nhận được một Wishart với các tham số: started $\boldsymbol{\Lambda_0}$

\begin{aligned} υ^{'} & = υ + D \\ Λ^{'} & = Λ + Λ_{x} \end{aligned}

$\begin{align} \upsilon' &= \upsilon + D\\ \boldsymbol{\Lambda'} &= \boldsymbol{\Lambda} + \boldsymbol{\Lambda_x} \end{align}$

Trông khá đẹp, nhưng tôi không tự tin chút nào vì tôi không tìm thấy bất kỳ ví dụ nào cả trên sách lẫn internet.

Erratum :

Görur và Rasmussen đề xuất các siêu nhân đó qua các tham số Wishart, nhưng phương trình này: started

\begin{aligned} Λ & \sim W (υ, Λ_{0}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}$

nên thay vào đó:

\begin{aligned} Λ & \sim W (υ, Λ_{0}^{- 1}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}^{-1}) \\ \end{align}$

do đó giải quyết sự thiếu liên hợp. Nếu chúng tôi muốn giữ thì chúng tôi nên sử dụng Inverse Wishart như trước (xem câu trả lời của @ Xi'an) $\boldsymbol{\Lambda_0}$

— alberto
nguồn

Câu trả lời:

Sản phẩm của hai mật độ trong dẫn đến

p (Λ_{0} | X, Λ, υ, D, Λ_{x}) \propto W (Λ | υ, Λ_{0}) W (Λ_{0} | D, \frac{1}{D} Λ_{x})

$p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\$

\begin{aligned} p (Λ_{0} | X, Λ, υ, D, Λ_{x}) & \propto | Λ_{0} |^{- υ / 2} \exp {- tr (Λ_{0}^{- 1} Λ) / 2} \\ \times | Λ_{0} |^{(D - p - 1) / 2} \exp {- D tr (Λ_{x}^{- 1} Λ_{0}) / 2} \\ \propto | Λ_{0} |^{(D - υ - p - 1) / 2} \exp {- t r (Λ_{0}^{- 1} Λ + D Λ_{x}^{- 1} Λ_{0}) / 2}, \end{aligned}

$\begin{align*} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) &\propto |\boldsymbol{\Lambda_0}|^{-\upsilon/2}\,\exp\{-\text{tr}(\boldsymbol{\Lambda_0}^{-1}\boldsymbol{\Lambda})/2\}\\ &\times |\boldsymbol{\Lambda_0}|^{(D-p-1)/2}\,\exp\{-D\,\text{tr}(\boldsymbol{\Lambda_x}^{-1}\boldsymbol{\Lambda_0})/2\}\\ &\propto|\boldsymbol{\Lambda_0}|^{(D-\upsilon-p-1)/2}\,\exp\{-tr(\boldsymbol{\Lambda_0}^{-1}\boldsymbol{\Lambda}+D\,\boldsymbol{\Lambda_x}^{-1}\boldsymbol{\Lambda_0})/2\}\,, \end{align*}$
mà dường như không phải là một mật độ tiêu chuẩn. Để giữ liên hợp các loại, thứ bậc bên phải trước phải là một cái gì đó giống như

Λ_{0}

$\boldsymbol{\Lambda_0}$

Λ_{0} \sim I W (Λ_{0} | D, \frac{1}{D} Λ_{x}) .

$\boldsymbol{\Lambda_0}\sim\mathcal{IW}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x})\,.$

— Tây An
nguồn

Cảm ơn gợi ý @ Xi'an!, Trên thực tế, tham số trong khả năng sẽ là (lỗi của tôi, xem chỉnh sửa). Tôi chỉ đăng một câu trả lời bằng cách này và giữ Wishart * Wishart.

Λ_{0}^{- 1}

$\mathbf{\Lambda_0^{-1}}$

— alberto

Ok, nhờ câu trả lời @ Xi'an tôi có thể tạo ra toàn bộ phái sinh. Tôi sẽ viết nó cho một trường hợp chung: trong đó là chìa khóa để liên hợp. Nếu chúng ta muốn sử dụng thì nên là:

\begin{aligned} W (W | υ, S^{- 1}) \times W (S | υ_{0}, S_{0}) \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S^{-1}} ) \times \mathcal{W}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) \end{align}$

S^{- 1}

$\mathbf{S^{-1}}$

S

$\mathbf{S}$

\begin{aligned} W (W | υ, S) \times Tôi W (S | υ_{0}, S_{0}) \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S} ) \times \mathcal{IW}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) \end{align}$

Tôi đang thực hiện trường hợp đầu tiên (vui lòng sửa lại cho tôi nếu tôi sai):

\begin{aligned} W (W | υ, S^{- 1}) \times W (S | υ_{0}, S_{0}) & \propto | S |^{υ / 2} \exp {- \frac{1}{2} t r (S W)} \\ \times | S |^{\frac{υ_{0} - D - 1}{2}} \exp {- \frac{1}{2} t r (S_{0}^{- 1} S)} \\ \propto | S |^{\frac{υ + υ_{0} - D - 1}{2}} \exp {- \frac{1}{2} t r ((W + S_{0}^{- 1}) S)} \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S^{-1}} ) \times \mathcal{W}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) &\propto |\mathbf{S}|^{\upsilon/2} \exp\{-\frac{1}{2} tr(\mathbf{SW}) \}\\ &\times |\mathbf{S}|^{\frac{\upsilon_0 - D -1 }{2}} \exp\{-\frac{1}{2} tr (\mathbf{S_0^{-1} S})\}\\ &\propto |\mathbf{S}|^{\frac{\upsilon + \upsilon_0 - D -1 }{2}} \exp\{-\frac{1}{2} tr ( (\mathbf{W} + \mathbf{S_0^{-1}) S})\} \end{align}$

trong đó chúng tôi đã sử dụng thực tế là . Bằng cách kiểm tra, chúng tôi thấy rằng đây là bản phân phối Wishart: $tr({\mathbf{SW}}) = tr({\mathbf{WS}})$

\begin{aligned} p (S | \cdot) = W (υ + υ_{0}, (W + S_{0}^{- 1})^{- 1}) \end{aligned}

$\begin{align} p(\mathbf{S} | \cdot) = \mathcal{W}(\upsilon+ \upsilon_0, \mathbf{(W+S_0^{-1})^{-1}}) \end{align}$

Tiện ích mở rộng cho rút ra $N$ $\mathbf{W_1...W_N}$ :

Đối với trường hợp khi chúng ta có ma trận chính xác thì khả năng trở thành sản phẩm của khả năng và chúng ta nhận được: $N$ $N$

\begin{aligned} p (S | \cdot) = W (N υ + υ_{0}, (\sum_{i = 1}^{N} W_{i} + S_{0}^{- 1})^{- 1}) \end{aligned}

$\begin{align} p(\mathbf{S} | \cdot) = \mathcal{W}(N \upsilon+ \upsilon_0, (\sum_{i=1}^N \mathbf{W_i+S_0^{-1})^{-1}}) \end{align}$

— alberto
nguồn