Chứng minh rằng phân phối entropy tối đa với ma trận hiệp phương sai cố định là một Gaussian

13

Tôi đang cố gắng tìm hiểu bằng chứng sau đây rằng Gaussian có entropy tối đa.

Làm thế nào để bước đánh dấu sao có ý nghĩa? Một hiệp phương sai cụ thể chỉ sửa chữa khoảnh khắc thứ hai. Điều gì xảy ra với khoảnh khắc thứ ba, thứ tư, thứ năm, vv?

entropy information-theory maximum-entropy

— Tarrare
nguồn

13

Bước được gắn dấu sao là hợp lệ vì (a) và có cùng số 0 và giây thứ hai và (b) là hàm đa thức của các thành phần của có các số hạng có tổng độ hoặc . $p$ $q$ $\log(p)$ $\mathbf{x}$ $0$ $2$

Bạn chỉ cần biết hai điều về phân phối chuẩn nhiều biến số có nghĩa là không:

$\log(p)$ là một hàm bậc hai của không có thuật ngữ tuyến tính . Cụ thể, có các hằng số và mà $\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$ $p_{ij}$
$\log (p (x)) = C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j} .$ $\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$
(Tất nhiên và có thể được viết dưới dạng , nhưng chi tiết này không quan trọng.) $C$ $p_{ij}$ $\Sigma$
$\Sigma$ cho những khoảnh khắc thứ hai của phân phối. Đó là,
$Σ_{Tôi j} = = E_{p} (x_{Tôi} x_{j}) = = \int p (x) x_{Tôi} x_{j} d x .$ $\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$

Chúng tôi có thể sử dụng thông tin này để tìm ra một tích phân:

\begin{aligned} \int (q (x) - p (x)) đăng nhập (p (x)) d x \\ = = & \int (q (x) - p (x)) (C + Σ_{Tôi, j = = 1}^{n} p_{Tôi j} x_{Tôi} x_{j}) d x . \end{aligned}

$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$

Nó chia thành tổng của hai phần:

$\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$ , vì cả và đều là các hàm mật độ xác suất. $q$ $p$
$\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ vì mỗi tích phân trên tay phải bên, và , có cùng giá trị (với wit, ). Đây là những gì nhận xét "mang lại những khoảnh khắc giống nhau của dạng bậc hai" dự định nói. $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$ $\int p(\mathbf{x}) x_i x_jd\mathbf{x}$ $\Sigma_{ij}$

Kết quả ngay sau đó: vì , chúng tôi kết luận rằng $\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$ $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

— whuber
nguồn

1

Tôi nghĩ điều xảy ra là trong các tích phân trong cả (4.27) và (4.28), bạn có các số hạng nhân và dạng (vì là mật độ bình thường , khi bạn lấy nhật ký, bạn sẽ có được các loại điều khoản như vậy từ các hằng số cộng với số mũ). Nhưng sau đó, điều kiện trong định lý đảm bảo rằng các số hạng đó nhân với của tích hợp vào cùng một giá trị. $q(x)$ $p(x)$ $\sigma_{ij}x_ix_j$ $p(x)$ $p(x)$ $q(x)$

— F. Tusell
nguồn