Là phân phối entropy tối đa phù hợp với phân phối biên đã cho phân phối sản phẩm của các lề?

Nhìn chung, có nhiều phân phối chung phù hợp với phân phối biên đã đặt .$P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)$$f_i(x_i) = P(X_i = x_i)$

Trong số các bản phân phối chung này, sản phẩm có được hình thành bằng cách lấy sản phẩm của lề là sản phẩm có entropy cao nhất không?$\prod_i f_i(x_i)$

Tôi chắc chắn tin rằng đây là sự thật, nhưng thực sự muốn thấy một bằng chứng.

Tôi quan tâm nhất trong trường hợp tất cả các biến là rời rạc, nhưng cũng sẽ quan tâm đến bình luận về entropy liên quan đến các biện pháp sản phẩm trong trường hợp liên tục.

Một cách là sử dụng các thuộc tính của phân kỳ Kullback - Leibler .

Đặt là họ phân phối với các lề đã cho và đặt là phân phối sản phẩm (và rõ ràng là ).$\mathfrak{P}$$Q$$Q \in \mathfrak{P}$

Bây giờ, đối với mọi , entropy chéo là:$P \in \mathfrak{P}$

$H(P,Q) = E_P [\log q(X)] = E_P \left[ \log \prod_i q_i(X) \right] = \sum_i E_P [\log q_i(X)] = \sum_i H(P_i,Q_i)$

đó là tổng của entropy chéo của lề. Vì các lề đều cố định, nên thuật ngữ này phải được cố định.

Bây giờ chúng ta có thể viết phân kỳ KL là:

$D_{KL}(P \| Q) = H(P,Q) - H(P)$

và do đó:

$\operatorname*{arg\,min}_{P \in \mathfrak{P}} \ D_{KL}(P \| Q) = \operatorname*{arg\,max}_{P \in \mathfrak{P}} \ H(P)$

nghĩa là, phân phối tối đa hóa entropy là phân phối tối thiểu hóa phân kỳ KL với , mà theo các tính chất của phân kỳ KL , chúng ta biết là chính$P$$Q$$Q$