Trực giác về một entropy chung

Tôi gặp khó khăn trong việc xây dựng một số trực giác về entropy chung. = độ không đảm bảo trong phân phối chung ; = độ không đảm bảo tính bằng ; = độ không đảm bảo tính bằng .p ( x , y ) H ( X ) p x ( x ) H ( Y ) p y ( y $H(X,Y)$$p(x,y)$$H(X)$$p_x(x)$$H(Y)$$p_y(y)$

Nếu H (X) cao thì phân phối không chắc chắn hơn và nếu bạn biết kết quả của phân phối đó thì bạn có nhiều thông tin hơn! Vậy H (X) cũng định lượng thông tin.

Bây giờ chúng ta có thể hiển thị$H(X,Y) \leq H(X) + H(Y)$

Nhưng nếu bạn biết bạn có thể nhận được và vì vậy trong một số ý nghĩa, có nhiều thông tin hơn cả và , vì vậy không nên ' t độ không đảm bảo liên quan đến p (x, y) có phải là tổng của độ không đảm bảo riêng lẻ không?p x ( x ) p y ( y ) p ( x , y ) p x ( x ) p y ( y $p(x,y)$$p_x(x)$$p_y(y)$$p(x,y)$$p_x(x)$$p_y(y)$

như một quy tắc chung, thông tin bổ sung không bao giờ làm tăng entropy, được quy định chính thức như sau:

đẳng thức giữ nếu và độc lập, hàm ý .Y H ( X | Y ) = H ( X $X$$Y$$H(X|Y) = H(X)$

Kết quả này có thể được sử dụng để chứng minh entropy chung . Để chứng minh điều đó, hãy xem xét một trường hợp đơn giản . Theo quy tắc chuỗi, chúng ta có thể viết entropy tham gia như dưới đây$H(X_1, X_2, ..., X_n) \leq \sum_{i=1}^{n} H(X_i)$$H(X,Y)$

Xem xét bất đẳng thức , không bao giờ tăng entropy của biến và do đó . Sử dụng cảm ứng người ta có thể khái quát kết quả này cho các trường hợp liên quan đến nhiều hơn hai biến.H ( X | Y ) X H ( X , Y ) ≤ H ( X ) + H ( Y $*$$H(X|Y)$$X$$H(X,Y) \leq H(X) + H(Y)$

Hy vọng nó đã giúp giảm bớt sự mơ hồ (hoặc entropy của bạn) về entropy chung!

Có một quan điểm khác về entropy Shannon. Hãy tưởng tượng bạn muốn đoán qua các câu hỏi giá trị cụ thể của một biến là gì. Để đơn giản, hãy tưởng tượng rằng giá trị chỉ có thể lấy tám giá trị khác nhau và tất cả đều có thể xảy ra như nhau.$\left(0,1,..., 8\right)$

Cách hiệu quả nhất là thực hiện tìm kiếm nhị phân. Trước tiên, bạn hỏi liệu lớn hơn hoặc nhỏ hơn 4. Sau đó so sánh nó với 2 hoặc 6, v.v. Tổng cộng bạn sẽ không cần nhiều hơn ba câu hỏi (đó là số bit của phân phối cụ thể này).

Chúng ta có thể thực hiện tương tự cho trường hợp của hai biến. Nếu chúng không độc lập, thì việc biết giá trị của một trong số chúng giúp bạn đoán tốt hơn (trung bình) cho câu hỏi tiếp theo (điều này được phản ánh trong kết quả được chỉ ra bởi omidi ). Do đó, entropy thấp hơn, trừ khi chúng hoàn toàn độc lập, nơi bạn cần đoán giá trị của chúng một cách độc lập. Nói rằng entropy là phương tiện thấp hơn (đối với ví dụ cụ thể này) rằng bạn cần đưa ra ít câu hỏi trung bình (nghĩa là thường xuyên hơn không bạn sẽ đoán đúng).

Có vẻ như bạn đang thực hiện suy nghĩ "nếu biết thêm thông tin khi biết, thì sẽ có nhiều entropy hơn khi chưa biết". Đây không phải là một trực giác chính xác, bởi vì, nếu phân phối không xác định, chúng ta thậm chí không biết entropy của nó. Nếu phân phối được biết, thì entropy định lượng lượng thông tin cần thiết để mô tả độ không đảm bảo về việc thực hiện biến ngẫu nhiên, vẫn chưa biết (chúng ta chỉ biết cấu trúc xung quanh độ không đảm bảo này, bằng cách biết phân phối). Entropy không định lượng thông tin "hiện tại" trong phân phối. Ngược lại: càng nhiều thông tin "bao gồm" trong phân phối, càng ít thông tin "cần thiết" để mô tả sự không chắc chắn, và do đó càng ítentropy là. Xem xét phân phối đồng đều: nó chứa rất ít thông tin, bởi vì tất cả các giá trị có thể có của biến đều có thể được trang bị: do đó nó có entropy tối đa trong số tất cả các phân phối có hỗ trợ giới hạn.

Đối với Entropy chung, bạn có thể nghĩ về nó như sau: phân phối chung chứa thông tin về việc hai biến có phụ thuộc hay không, cộng với thông tin đủ để rút ra các phân phối biên. Các bản phân phối cận biên không chứa thông tin về việc hai biến ngẫu nhiên là phụ thuộc hay độc lập. Vì vậy, phân phối chung có nhiều thông tin hơn và giúp chúng tôi ít bất ổn hơn xung quanh các biến ngẫu nhiên liên quan:

Thêm thông tin có trong phân phối ít sự không chắc chắn xung quanh các biến ít thông tin cần thiết hơn để mô tả sự không chắc chắn này ít entropy.→ $\rightarrow$$\rightarrow$$\rightarrow$