Phân kỳ KL giữa hai Gaussian đa biến

Tôi gặp khó khăn khi lấy công thức phân kỳ KL giả sử hai phân phối bình thường đa biến. Tôi đã thực hiện trường hợp đơn biến khá dễ dàng. Tuy nhiên, đã khá lâu kể từ khi tôi lấy chỉ số toán học, vì vậy tôi gặp một số khó khăn khi mở rộng nó sang trường hợp đa biến. Tôi chắc chắn tôi chỉ thiếu một cái gì đó đơn giản.

Đây là những gì tôi có ...

Giả sử cả và là các file PDF của phân phối chuẩn với phương tiện và và chênh lệch và , tương ứng. Khoảng cách Kullback-Leibler từ đến là:$p$$q$$\mu_1$$\mu_2$$\Sigma_1$$\Sigma_2$$q$$p$

$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$ , đối với hai quy tắc đa biến là:

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

Theo logic tương tự như bằng chứng này , tôi đi đến đây trước khi tôi gặp khó khăn:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

Tôi nghĩ rằng tôi phải thực hiện thủ thuật theo dõi , nhưng tôi không chắc phải làm gì sau đó. Bất kỳ gợi ý hữu ích nào để đưa tôi trở lại đúng đường sẽ được đánh giá cao!

Bắt đầu với nơi bạn bắt đầu với một số sửa chữa nhỏ, chúng tôi có thể viết

$$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$$

Lưu ý rằng tôi đã sử dụng một vài thuộc tính từ Phần 8.2 của Sách dạy nấu ăn ma trận .