Theo kinh nghiệm, hàm mật độ xác suất trên với entropy tối đa hóa ra là tương ứng với lượng kiến thức ít nhất về { x 1 , x 2 , . . , . x n } , nói cách khác là phân phối Thống nhất.{x1,x2,..,.xn}{x1,x2,..,.xn}
Bây giờ, để có bằng chứng chính thức hơn, hãy xem xét những điều sau đây:
Hàm mật độ xác suất trên là một tập hợp các số thực không âm p 1 , . . . , P n mà thêm lên đến 1. Entropy là một hàm liên tục của n -tuples ( p 1 , . . . , P n ) , và những điểm nằm trong một tập con compact của R n , do đó là một n{x1,x2,..,.xn}p1,...,pnn(p1,...,pn)Rnn-tuple nơi entropy được tối đa hóa. Chúng tôi muốn thể hiện điều này xảy ra ở và nơi nào khác.(1/n,...,1/n)
Giả sử không bằng nhau, giả sử p 1 < p 2 . (Rõ ràng n ≠ 1 .) Chúng tôi sẽ tìm thấy một mật độ xác suất mới với entropy cao hơn. Sau đó, vì entropy được tối đa hóa ở một số n -tuple, entropy đó được tối đa hóa duy nhất tại n -tuple với p i = 1 / n cho tất cả i .pjp1<p2n≠1nnpi=1/ni
Kể từ , cho dương nhỏ ε chúng ta có p 1 + ε < p 2 - ε . Entropy của { p 1 + ε , p 2 - ε , p 3 , . . . , p n } trừ entropy của { p 1 , p 2 , p 3 , . . . , pp1<p2εp1+ε<p2−ε{p1+ε,p2−ε,p3,...,pn} bằng{p1,p2,p3,...,pn}
−p1log(p1+εp1)−εlog(p1+ε)−p2log(p2−εp2)+εlog(p2−ε)
To complete the proof, we want to show this is positive for small enough
ε. Rewrite the above equation as
−p1log(1+εp1)−ε(logp1+log(1+εp1))−p2log(1−εp2)+ε(logp2+log(1−εp2))
log(1+x)=x+O(x2)x
−ε−εlogp1+ε+εlogp2+O(ε2)=εlog(p2/p1)+O(ε2)
which is positive when
ε is small enough since
p1<p2.
A less rigorous proof is the following:
Consider first the following Lemma:
Let p(x) and q(x) be continuous probability density functions on an interval
I in the real numbers, with p≥0 and q>0 on I. We have
−∫Iplogpdx≤−∫Iplogqdx
if both integrals exist. Moreover, there is equality if and only if
p(x)=q(x) for all
x.
Now, let p be any probability density function on {x1,...,xn}, with pi=p(xi). Letting qi=1/n for all i,
−∑i=1npilogqi=∑i=1npilogn=logn
which is the entropy of
q. Therefore our Lemma says
h(p)≤h(q), with equality if and only if
p is uniform.
Also, wikipedia has a brief discussion on this as well: wiki