Entropy phân phối với phân phối phụ thống nhất

Để cho $X$ là một biến ngẫu nhiên lấy các giá trị trong một tập hợp $\mathcal{X}$ . Sự phân phối của $X$ là không thống nhất, nhưng có một tập hợp con $A\in\mathcal{X}$ đó là "đồng phục": tất cả các sự kiện trong $A$ xảy ra với xác suất bằng nhau.

Chúng ta có thể liên quan đến entropy của $X$ đến kích thước của bộ $A$ ? Theo trực giác có vẻ như chúng ta sẽ có thể nói entropy của $X$ là ít nhất $\log |A|$ , nhưng tôi không chắc làm thế nào để chứng minh điều đó.

Ví dụ khi $A = \mathcal{X}$ phân phối trên $X$ là thống nhất, và ràng buộc giữ tầm thường.

entropy information-theory

— trg1989
nguồn

Đơn giản chỉ cần áp dụng công thức entropy: kết quả giảm ngay. Ý tưởng là $A$ một mình đóng góp ít nhất

- | A | (\frac{1}{| A |}) \log (\frac{1}{| A |}) = \log | A |

$-|A| \left(\frac{1}{|A|}\right)\log\left(\frac{1}{|A|}\right)=\log|A|$ đến entropy và bất kỳ thuật ngữ nào khác trong công thức entropy chỉ có thể tăng thêm. Chi tiết theo dõi.

Trước tiên, hãy rõ ràng về ngôn ngữ: tập hợp con của $\mathcal{X}$ thường không được coi là "sự kiện." $X$ là một hàm từ một không gian xác suất $(\Omega, \mathfrak{F}, \mathbb{P})$ vào $\mathcal X$ . Những hình ảnh nghịch đảo

X^{- 1} (a) = {ω \in Ω ∣ X (ω) = a}

$X^{-1}(a) = \{\omega\in\Omega\mid X(\omega)=a\}$

được coi là tập con có thể đo lường được của $\Omega$ và như vậy là (theo nghĩa thông thường) các sự kiện .

Để thuận tiện, hãy để $n=|A|$ là chủ yếu của nó và hãy $p$ là xác suất chung của tất cả các sự kiện trong câu hỏi; đó là,

p = Pr (X^{- 1} (a))

$p = \Pr(X^{-1}(a))$

đối với bất kỳ . $a\in A$

Phân tách thành và phần bù của nó, . Tiên đề của Tổng xác suất, cùng với thực tế là xác suất của không âm, ngụ ý $\Omega$ $X^{-1}(A)$ $\bar A = \Omega\setminus X^{-1}(A)$ $\bar A$

\begin{aligned} 1 & = Pr (Ω) = Pr ({\bar{A}}_{X}) + Pr (X^{- 1} (A)) \\ = Pr ({\bar{A}}_{X}) + \sum_{a \in A} Pr (X^{- 1} (a)) \\ = Pr ({\bar{A}}_{X}) + n p \geq n p . \end{aligned}

$\eqalign{ 1 &= \Pr(\Omega) = \Pr(\bar A_X) + \Pr(X^{-1}(A))\\ &= \Pr(\bar A_X) + \sum_{a\in A} \Pr(X^{-1}(a)) \\ & = \Pr(\bar A_X) + np \ge np. }$

Trong trường hợp là vô hạn, điều này cho thấy phải bằng 0 và sẽ không được xác định. Do đó chúng ta phải giả sử là hữu hạn. Trong trường hợp này, tính toán trước cho thấy $n$ $p$ $\log p$ $n$

p \leq \frac{1}{n} .

$p \le \frac{1}{n}.$

Trong tính toán entropy của , sẽ có các thuật ngữ tương ứng với đóng góp các giá trị không âm cho entropy. Vẫn còn kỳ hạn từ . Mỗi trong số này đóng góp vào entropy (theo định nghĩa). Vì và là một đơn điệu tăng chức năng ( ví dụ , ), tổng của họ có một ràng buộc thấp $X$ $X^{-1}\left(\mathcal{X}\setminus A\right)$ $n$ $A$ $-p\log p$ $p \le 1/n$ $\log$ $\log(p) \le \log(1/n)$ $-np\log p$

- n p \log p \geq - n \frac{1}{n} \log (\frac{1}{n}) = \log n = \log | A |,

$-np\log p \ge -n\frac{1}{n}\log\left(\frac{1}{n}\right) = \log n =\log|A|,$

QED .

— whuber
nguồn