Ý nghĩa của thông tin lẫn nhau ngoài tính toán số là gì?

Ngoài phương trình thô để tính toán thông tin lẫn nhau, nó có nghĩa gì về mặt vật lý? Ví dụ: Từ Lý thuyết thông tin, chúng ta biết rằng entropy là sơ đồ nén không mất mát nhỏ nhất mà chúng ta có thể sử dụng trên bảng chữ cái với phân phối xác suất cụ thể.

Điều đó có nghĩa gì về Thông tin lẫn nhau?

Bối cảnh: Tôi đang cố gắng tính toán thông tin lẫn nhau của các từ uni-gram và xác định chúng thuộc hai cuốn sách nào.

cần thiết

Thông tin lẫn nhau theo định nghĩa liên quan đến hai biến ngẫu nhiên (RV) và nó đo lường sự phụ thuộc giữa hai RV từ góc độ nội dung thông tin, tức là thước đo lượng thông tin được chứa bởi một RV về RV khác. Và thông tin lẫn nhau là một đại lượng đối xứng, tức là .$I(X;Y) = I(Y; X)$

Trong trường hợp kênh truyền thông, dung lượng tối đa có thể đạt được của kênh là mức tối đa của thông tin lẫn nhau giữa đầu vào kênh và đầu ra .$C = \max_{p(x)} I(X; Y)$

Trong trường hợp của bạn, hai RVs và sẽ tương ứng với sách và từ. Thông tin lẫn nhau sẽ đo lượng thông tin phổ biến giữa một cặp (sách, từ). Rõ ràng là bạn liên kết từ này với cuốn sách mà bạn có thông tin lẫn nhau tối đa. Đây là cách tiếp cận thông tin lẫn nhau tối đa.$X$$Y$

Hai trực quan bổ sung có thông tin lẫn nhau:

• Khi hai biến ngẫu nhiên độc lập, phân phối chung và tích của phân phối biên và là giống hệt nhau. Do đó, người ta có thể đánh giá mức độ độc lập giữa hai biến ngẫu nhiên bằng cách tính khoảng cách xác suất giữa và - khoảng cách này là 0 khi hai biến độc lập. Một khoảng cách xác suất phổ biến giữa các biến là phân kỳ Kullback - Leibler. Nếu bạn lấy phân kỳ Kullback-Leibler giữa phân phối chung và tích của các biến ngẫu nhiên của hai biến ngẫu nhiên, bạn sẽ có ... thông tin lẫn nhau.p ( x ) p ( y ) p ( x ) × p ( y ) p ( x , y $p(x, y)$$p(x)$$p(y)$$p(x) \times p(y)$$p(x, y)$

• Từ góc độ nén / mã hóa, hãy tưởng tượng bạn được cung cấp một chuỗi cặp quan sát . Bạn muốn nén chúng thành một tập tin. Hai chiến lược: lưu trữ tất cả (x) trong một tệp nén sau đó độc lập tất cả (y) trong một tệp nén khác; vs nén các cặp. Sử dụng một bộ mã hóa tối ưu, kích thước tệp trong trường hợp đầu tiên là , trong khi trong trường hợp thứ hai, kích thước tệp là . Cách tiếp cận thứ hai hiệu quả hơn nếu có mối quan hệ giữa hai biến quan sát! Chúng ta đã lưu bao nhiêu bit cho mỗi lần quan sát? ( x , y ) N × H ( X ) + N $N$$(x, y)$N × H ( X , Y ) N × H ( X ) + N × H ( Y ) - N × H ( X , Y $N \times H(X) + N \times H(Y)$$N \times H(X, Y)$$\frac{N \times H(X) + N \times H(Y) - N \times H(X, Y)}{N} = I(X,Y)$! Vì vậy, thông tin lẫn nhau cho chúng ta biết chúng ta tiết kiệm được bao nhiêu bit trên mỗi lần quan sát bằng cách mã hóa hai luồng dữ liệu cùng nhau thay vì độc lập.

Tôi không chắc chắn về ví dụ của bạn, mặc dù ... Thông tin lẫn nhau được tính giữa hai biến ngẫu nhiên (phân phối). Tôi có thể thấy làm thế nào "cuốn sách" có thể đại diện cho việc phân phối các từ trong một cuốn sách; nhưng tôi không chắc "từ" nghĩa là gì ở đây. Thông tin lẫn nhau cũng đòi hỏi các quan sát "ghép đôi" phải được tính toán.