Giá trị thông tin lẫn nhau có thể lớn hơn 1

Tôi có một nghi ngờ rất cơ bản. Xin lỗi nếu điều này kích thích vài. Tôi biết rằng giá trị Thông tin lẫn nhau phải lớn hơn 0, nhưng có nên nhỏ hơn 1 không? Có giới hạn bởi bất kỳ giá trị trên?

Cảm ơn, Amit.

information-theory mutual-information

— Amit
nguồn

Vâng, nó có giới hạn trên, nhưng không 1.

Các thông tin lẫn nhau (theo bit) là 1 khi hai bên (thống kê) một cổ phiếu cắn của thông tin. Tuy nhiên, họ có thể chia sẻ một dữ liệu lớn tùy ý. Cụ thể, nếu họ chia sẻ 2 bit, thì đó là 2.

Thông tin lẫn nhau được giới hạn từ phía trên bởi entropy phân phối xác suất của Shannon cho các bên duy nhất, tức là . $I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

— Piotr Migdal
nguồn

Nếu hai bên là biến nhị phân, tức là mỗi bên chỉ có hai kết quả có thể {0,1} , thì entropies tối đa là khi và . Do đó, thông tin lẫn nhau tối đa cho hai biến nhị phân là

X, Y

$X,Y$

H (X), H (Y)

$H(X), H(Y)$

1

$1$

P (X) = 0.5

$P(X)=0.5$

P (Y) = 0.5

$P(Y)=0.5$

1

$1$

— Akseli Palén