Dẫn xuất cập nhật liên hợp Dirichlet

Tôi đang cố gắng rút ra các phương trình cập nhật cho liên hợp đến phân phối Dirichlet, như được nêu ở đây: /mathpro/20399/conjugate-p Warrior-of-the-irichlet-phân phối

Tuy nhiên, phương trình cập nhật tham số tôi tính toán không khớp với đề xuất ở đó.

hàm của tôi được hiển thị bên dưới: trong đó,

$$\begin{align} f({\theta}|{\alpha}) &= Dir({\theta}|{\alpha})\\ &=\frac{1}{B({\alpha})}\exp(\phi({\alpha})^{T}u({\theta})) \end{align}$$ $$\begin{align} \phi({\alpha})^{T} &= [\alpha_1-1,\cdots,\alpha_K-1]\\ u({\theta}) &= [\ln(\theta_1),\cdots,\ln(\theta_K)]^{T}\\ B({\alpha}) &= \frac{\prod_{i=1}^{K}\Gamma(\alpha_i)}{\Gamma\left(\sum_{i=1}^{K}\alpha_i\right)} \end{align}$$

Do đó,

$$\begin{align} f({\theta}|{\alpha}) &= \frac{1}{B({\alpha})}\exp\left(\sum_{i=1}^{K}\alpha_{i}\ln(\theta_i)-\ln(\theta_i)\right) \end{align}$$

Liên hợp gia đình hàm mũ có dạng,

$$\begin{align} p({\alpha}|{\nu},\eta) &\propto \frac{1}{B({\alpha})^{\eta}}\exp(\phi({\alpha})^{T}{\nu})\\ &= \frac{1}{B({\alpha})^{\eta}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\nu_{i}-\sum_{i=1}^{K}\nu_i\right)\\ &\propto \frac{1}{B({\alpha})^{\eta}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\nu_{i}\right) \end{align}$$

Bây giờ, bản cập nhật sau trên ${\alpha}$ cho ${\theta}$ ,

$$\begin{align} p({\alpha}|{\theta},{\nu},\eta) &\propto p({\alpha},{\theta}|{\nu},\eta)\\ &= f({\theta}|{\alpha})p({\alpha}|{\nu},\eta)\\ &\propto \left[\frac{1}{B({\alpha})}\exp\left(\sum_{i=1}^{K}\alpha_{i}\ln(\theta_i)-\ln(\theta_i)\right)\right]\times\nonumber\\ &\phantom{{}\propto} \left[\frac{1}{B({\alpha})^{\eta}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\nu_{i}\right) \right]\\ &= \frac{1}{B({\alpha})^{\eta+1}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\ln(\theta_i) + \alpha_{i}\nu_{i}-\ln(\theta_i)\right)\\ \end{align}$$

Do đó, tôi nhận được bản cập nhật . Tuy nhiên, bản cập nhật trên không khớp. Nếu chúng tôi có thể loại bỏ , chúng tôi sẽ nhận được cập nhật , không phù hợp với đề xuất .${\eta^{t+1}} = {\eta^t} + 1$$\nu$$-\ln(\theta_i)$${\nu_i^{t+1}} = {\nu_i^t} + \ln(\theta_i)$${\nu_i^{t+1}} = {\nu_i^t} - \ln(\theta_i)$

Và theo dõi: có một ý nghĩa trực quan đằng sau và trong liên hợp này không? dường như cho thấy mức độ tin cậy ở trước và áp đặt sự bất cân xứng, nhưng một số thảo luận thêm về điều này sẽ được đánh giá cao.${\eta}$$\nu$${\eta}$$\nu$

Không có gì sai với đạo hàm này nhưng phần không quan trọng, vì đó là một hằng số nhân (trong ). vì thế

$$\begin{align} p({\alpha}|{\theta},{\nu},\eta) &\propto p({\alpha},{\theta}|{\nu},\eta)\\ &= f({\theta}|{\alpha})p({\alpha}|{\nu},\eta)\\ &\propto \left[\frac{1}{B({\alpha})}\exp\left(\sum_{i=1}^{K}\alpha_{i}\ln(\theta_i)-\ln(\theta_i)\right)\right]\times\nonumber\\ &\phantom{{}\propto} \left[\frac{1}{B({\alpha})^{\eta}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\nu_{i}\right) \right]\\ &= \frac{1}{B({\alpha})^{\eta+1}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\ln(\theta_i) + \alpha_{i}\nu_{i}-\ln(\theta_i)\right)\\ \end{align}$$ $$\exp\left(-\sum_{i=1}^{K}\ln(\theta_i)\right)$$ $\alpha$ $$\begin{align} p({\alpha}|{\theta},{\nu},\eta) &\propto \frac{1}{B({\alpha})^{\eta+1}}\exp\left(\sum_{i=1}^{K}\alpha_{i}\{\ln(\theta_i) +\nu_{i}\}\right) \end{align}$$ Tóm lại, là cập nhật chính xác. Các bài viết trích dẫn có một lỗi đánh máy, rõ ràng. $$\eta^\text{post}=\eta^\text{prior}+1 \qquad \nu_{i}^\text{post}=\nu_{i}^\text{prior}+\ln(\theta_i)$$

Đối với câu hỏi tiếp theo, tôi không nghĩ rằng bản phân phối có một diễn giải trực quan.

Trước hết, các cập nhật gia đình theo cấp số nhân gây nhầm lẫn trong bất cứ điều gì ngoại trừ tham số tự nhiên trong đó quy tắc cập nhật chỉ là bổ sung. Bám sát điều đó.

Tôi sẽ lấy được liên hợp trước theo cách này . Ý tưởng cơ bản là các giá trị tham số tự nhiên của phân phối trước liên hợp của bạn là (tổng số liệu thống kê đầy đủ về phân phối ban đầu của bạn ). Mỗi quan sát thêm vào vector này.$F'$$\eta'$$F$

Số liệu thống kê đầy đủ cho Dirichlet là . Do đó, quy tắc cập nhật của bạn cho liên hợp trước của nó là tổng hợp những điều này cùng với một tham số bổ sung để theo dõi số lượng quan sát bạn đã tổng hợp.$\log x_i$

Theo trực giác, tham số đếm này luôn là tham số nồng độ; các tham số khác nhạy nhất với các giá trị nhỏ của . Điều hợp lý là nếu mẫu Dirichlet của bạn có giá trị nhỏ là , thì có lẽ nó không có lớn so với . Chuyện ngược lại có lẽ ít đúng?$x_i$$x_i$$\alpha_i$$\alpha_i$

Tôi không chắc liệu nó có ý nghĩa trực quan nào không, nhưng có thể được hiểu trong bối cảnh vật lý khi phân phối Dirichlet cách xa trạng thái cân bằng, theo nghĩa vi mô. Xem http://arxiv.org/pdf/cond-mat/0603120v1.pdf . Đây có lẽ không phải là kiểu giải thích bóng mà hầu hết sẽ thấy thỏa mãn, nhưng đó là một cách thú vị để xem xét nó!$\eta$