Giới hạn thông tin lẫn nhau đưa ra giới hạn về thông tin lẫn nhau theo chiều

Giả sử tôi có hai bộ và và phân phối xác suất chung trên các bộ . Đặt và lần lượt là các phân phối biên trên và $X$ $Y$ $p(x,y)$ $p(x)$ $p(y)$ $X$ $Y$

Thông tin lẫn nhau giữa và được xác định là: $X$ $Y$

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

tức là nó là giá trị trung bình của thông tin tương hỗ theo chiều pmi . $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

Giả sử tôi biết giới hạn trên và dưới trên pmi : tức là tôi biết rằng với mọi giữ các giá trị sau: $(x,y)$ $x,y$

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

Những gì giới hạn trên làm điều này ngụ ý trên . Tất nhiên nó ngụ ý , nhưng tôi muốn ràng buộc chặt hơn nếu có thể. Điều này có vẻ hợp lý với tôi vì p xác định phân phối xác suất và pmi không thể lấy giá trị tối đa của nó (hoặc thậm chí là không âm) cho mọi giá trị của và . $I(X; Y)$ $I(X; Y) \leq k$ $(x,y)$ $x$ $y$

entropy mutual-information information-theory

— Florian
nguồn

Khi xác suất chung và biên là đồng nhất, pmi ( , ) bằng 0 (và do đó không âm, rõ ràng mâu thuẫn với tuyên bố cuối cùng của bạn, nhưng chỉ là hầu như không). Dường như với tôi, nếu tôi không nhầm, việc gây nhiễu tình huống này trên các tập con nhỏ của chỉ ra rằng giới hạn trên pmi không nói gì về bản thân .

x

$x$

y

$y$

X \times Y

$X \times Y$

I (X; Y)

$I(X;Y)$

— whuber

Trong thực tế, nếu và độc lập, thì là hằng số, bất kể phân phối biên. Vì vậy, có cả một lớp phân phối mà có được giá trị tối đa của nó cho mọi và .

X

$X$

Y

$Y$

p m i (x, y)

$\mathrm{pmi}(x,y)$

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— Đức hồng y

Đúng, chắc chắn đúng là pmi có thể bằng nhau cho tất cả và , nhưng điều đó không loại trừ ràng buộc chặt chẽ hơn. Ví dụ, không khó để chứng minh rằng . Đây là khi và là cường độ không tầm thường của ràng buộc khi . Tôi tự hỏi nếu có những giới hạn không tầm thường mà giữ chung hơn.

(x, y)

$(x,y)$

x

$x$

y

$y$

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— Florian

Tôi nghi ngờ rằng bạn sẽ có giới hạn tốt hơn cho . Nếu bạn muốn tìm kiếm nhiều hơn, hãy thử đóng khung lại câu hỏi của bạn theo sự phân kỳ KL giữa p (x) p (y) và p (x, y). Bất bình đẳng của Pinsker cung cấp giới hạn thấp hơn trên MI có thể xác nhận linh cảm của tôi. Xem thêm Phần 4 của ajmaa.org/RGMIA/ con / v2n4 / relog.pdf .

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv

Câu trả lời:

Đóng góp của tôi bao gồm một ví dụ. Nó minh họa một số giới hạn về cách thông tin lẫn nhau có thể bị giới hạn trong giới hạn thông tin lẫn nhau theo chiều.

Hãy và cho tất cả . Với mọi hãy để là giải pháp cho phương trình Sau đó chúng ta đặt điểm khối lượng trong điểm trong không gian sản phẩm theo cách như vậy mà có của những điểm này trong mỗi hàng và mỗi cột. (Điều này có thể được thực hiện theo nhiều cách. Ví dụ: Bắt đầu với các điểm đầu tiên trong hàng đầu tiên và sau đó điền vào các hàng còn lại bằng cách thay đổi $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$ chỉ một bên phải với một điều kiện biên theo chu kỳ cho mỗi hàng). Chúng tôi đặt khối lượng điểm trong các điểm còn lại . Tổng các khối lượng điểm này là vì vậy họ đưa ra một thước đo xác suất. Tất cả các xác suất điểm cận biên là vì vậy cả hai phân phối biên đều thống nhất.

e^{- k} / n^{2}

$e^{-k}/n^2$

n^{2} - n m

$n^2 - nm$

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

Bằng cách xây dựng, rõ ràng với mọi và (sau một số tính toán) với thông tin lẫn nhau hoạt động như cho và như cho . $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
nguồn

Tôi không chắc đây có phải là thứ bạn đang tìm kiếm không, vì nó chủ yếu là đại số và không thực sự tận dụng các thuộc tính của p là phân phối xác suất, nhưng đây là thứ bạn có thể thử.

Do các giới hạn trên pmi, rõ ràng và do đó . Chúng ta có thể thay thế trong để lấy $\frac{p(x,y)}{p(x)p(y)}\leq e^k$ $p(x,y)\leq p(x)p(y)\cdot e^k$ $p(x,y)$ $I(X;Y)$ $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

Tôi không chắc điều đó có hữu ích hay không.

EDIT: Khi xem xét thêm tôi tin rằng điều này thực sự ít hữu ích hơn giới hạn trên ban đầu của k. Tôi sẽ không xóa cái này mặc dù trong trường hợp nó có thể gợi ý ở điểm bắt đầu.

— Michael McGowan
nguồn

Giá trị của ràng buộc này trở nên rõ ràng sau khi bạn lưu ý và (vì ) rằng .

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$

k \geq 0

$k \ge 0$

e^{k} \geq 1

$e^k \ge 1$

— whuber

Vâng, khi tôi nhận ra rằng tôi đã thực hiện chỉnh sửa của mình.

— Michael McGowan