Nghịch lý cho sự bất bình đẳng của Fano?

10

Sự bất bình đẳng của Fano có thể được nêu ra dưới nhiều hình thức và một dạng đặc biệt hữu ích là do (với một sửa đổi nhỏ) đối với Oded Regev :

Đặt là biến ngẫu nhiên và đặt trong đó là một quá trình ngẫu nhiên. Giả sử sự tồn tại của một thủ tục đã cho có thể xây dựng lại với xác suất . Khi đó $X$ $Y = g(X)$ $g(\cdot)$ $f$ $y = g(x)$ $x$ $p$
$I (X; Y) \geq p H (X) - H (p)$ $I(X; Y) \ge pH(X) − H(p)$

Nói cách khác, nếu tôi có thể xây dựng lại, có rất nhiều thông tin lẫn nhau trong hệ thống.

Có "sự đối nghịch" với sự bất bình đẳng của Fano: một cái gì đó có dạng

"Đưa ra một kênh có đủ thông tin lẫn nhau, có một quy trình để xây dựng lại đầu vào từ đầu ra có lỗi phụ thuộc vào thông tin lẫn nhau"

Sẽ là quá nhiều để mong đợi rằng thủ tục này cũng sẽ hiệu quả, nhưng cũng rất thú vị khi xem các ví dụ (tự nhiên) trong đó việc tái cấu trúc tồn tại nhưng phải không hiệu quả.

it.information-theory randomized-algorithms

— Suresh Venkat
nguồn

12

$P(y)$ $y$ $x$ $\Pr[X = x \mid Y = y]$ $\max_x \Pr[x \mid Y = y]$ $2^{-H_\infty(X | Y = y)}$ $H_\infty(X \mid Y = y)$ $X$ $Y = y$ $H_\infty(X) \leq H_1(X)$ $H_1(X)$ $X$ $H_\infty(X|Y = y)$ về mặt thông tin lẫn nhau . $I(X:Y)$

Viết . Sử dụng bất đẳng thức đã đề cập ở trên, hoặc . $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$ $I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$ $\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

Xác suất để thủ tục thành công trong đó và được chọn ngẫu nhiên là , mà theo độ lõm ít nhất là . Do đó, xác suất thủ tục thành công là ít nhất . $X$ $Y$ $\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$ $2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$ $2^{I(X:Y) - H(X)}$

Quy trình này là tối ưu: với bất kỳ quy trình ngẫu nhiên , xác suất thành công là , được tối đa hóa theo điểm khi xác định đầu ra có khả năng nhất . $P$ $\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$ $P(y)$ $x$

— Henry Yuen
nguồn

1

Vì vậy, có một tuyên bố định lượng là một sự đối nghịch của bất bình đẳng của Fano xuất phát từ lập luận này?

— bánh bao mobius

Bạn có ý nghĩa gì bởi định lượng? Đối số tôi đưa ra ở trên nên nói: "Đưa ra một kênh có thông tin lẫn nhau , có một quy trình xây dựng lại có lỗi nhiều nhất là ."

I (X : Y)

$I(X:Y)$

1 - 2^{I (X : Y) - H (X)}

$1 - 2^{I(X:Y) - H(X)}$

— Henry Yuen

2

Câu trả lời tốt đẹp và bằng chứng. Vì vậy, ràng buộc trong câu trả lời của bạn cũng có thể được viết lại kể từ . Điều này đã xuất hiện trong IEEE ISIT 1994, trong một cuộc nói chuyện của Baumer, theo sự hiểu biết tốt nhất của tôi.

p_{e r r} \leq 1 - 2^{I (X; Y) - H (X)} = 1 - 2^{- H (X | Y)}, (1)

$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$

I (X; Y) = H (X) - H (X | Y)

$I(X;Y)=H(X)-H(X|Y)$

Trong một tĩnh mạch tương tự, người ta có thể có được nơi là entropy của Renyi theo thứ tựỞ đây, do đó, ràng buộc (2) chặt chẽ hơn (1).

p_{e r r} \leq 1 - \sum_{y \in Y} P_{Y} (y) 2^{- H_{2} (X | Y)}, (2)

$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$

H_{α} (Z) = \frac{1}{1 - α} (\sum_{z \in Z} P_{Z} (z)^{α})

$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$

α \in (0, 1) \cup (1, \infty) .

$\alpha \in (0,1)\cup(1,\infty).$

α = 2,

$\alpha=2,$

— kodlu
nguồn