Trên entropy của một khoản tiền

Tôi đang tìm kiếm một ràng buộc trên entropy $H(X+Y)$ của tổng của hai biến ngẫu nhiên rời rạc độc lập và . Đương nhiên, Tuy nhiên, áp dụng cho tổng biến ngẫu nhiên Bernoulli độc lập , điều này mang lại cho Nói cách khác, ràng buộc phát triển tuyến tính với khi được áp dụng nhiều lần. Tuy nhiên, được hỗ trợ trên một tập hợp kích thước , vì vậy entropy của nó nhiều nhất là $X$ $Y$

H (X + Y) \leq H (X) + H (Y) (*)

$H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)$

n

$n$

Z_{1}, \dots, Z_{n}

$Z_1, \ldots, Z_n$

H (Z_{1} + Z_{2} + \dots + Z_{n}) \leq n H (Z_{1})

$H(Z_1 + Z_2 + \cdots + Z_n) \leq n H(Z_1)$

n

$n$

Z_{1} + \dots Z_{n}

$Z_1 + \cdots Z_n$

n

$n$

\log n

$\log n$ . Trên thực tế, theo định lý giới hạn trung tâm, tôi đoán rằng vì về cơ bản nó được hỗ trợ trên một tập hợp kích thước

H (Z_{1} + \dots + Z_{n}) \approx (1 / 2) \log n

$H(Z_1 + \cdots + Z_n) \approx (1/2) \log n$

\sqrt{n}

$\sqrt{n}$

Nói tóm lại, ràng buộc $(*)$ vượt quá khá nhiều trong tình huống này. Từ việc đọc bài đăng trên blog này , tôi có thể thu thập tất cả các giới hạn trên $H(X+Y)$ ; Có một ràng buộc nào cho phép tiệm cận đúng (hoặc, ít nhất, tiệm cận hợp lý hơn) khi áp dụng nhiều lần vào tổng các biến ngẫu nhiên Bernoulli?

it.information-theory shannon-entropy

— robinson
nguồn

Tôi không chắc chắn những gì bạn đang thực sự yêu cầu. Nếu bạn muốn giới hạn trên của H (X + Y) theo H (X) và H (Y) áp dụng cho bất kỳ hai biến ngẫu nhiên độc lập X và Y, thì H (X + Y) H (X ) + H (Y) rõ ràng là thứ tốt nhất bạn có thể nhận được; hãy xem xét trường hợp các tổng x + y hoàn toàn khác biệt khi x nằm trên phạm vi hỗ trợ của X và y trong phạm vi hỗ trợ của Y. Nếu bạn áp dụng chung này cho một trường hợp rất đặc biệt, thì việc bạn nhận được rất nhiều ràng buộc lỏng lẻo.

— Tsuyoshi Ito

@TsuyoshiIto - tốt, một khả năng cho câu trả lời sẽ là tuyệt vời là bất đẳng thức như trong đó các thuật ngữ sau dấu trừ bằng 0 trong trường hợp bạn mô tả và cộng lại để tăng tỷ lệ tốt hơn với trong trường hợp tổng các biến ngẫu nhiên Bernoulli ...

H (X + Y) \leq H (X) + H (Y) - \dots

$H(X+Y) \leq H(X) + H(Y) - \ldots$

n

$n$

— robinson

... Dường như với tôi rằng sự tồn tại của các bất đẳng thức như làm cho ít nhất có thể tin rằng câu trả lời tôi đang tìm kiếm tồn tại.

H (X + Y) \leq 3 H (X - Y) - H (X) - H (Y)

$H(X+Y) \leq 3 H(X-Y) - H(X) - H(Y)$

— robinson

Điều đó có nghĩa là những gì bạn đang tìm kiếm không phải là giới hạn trên của H (X + Y) về H (X) và H (Y) . Vui lòng chỉnh sửa câu hỏi.

— Tsuyoshi Ito

tôi nghĩ trong trường hợp phương sai của mỗi nhỏ so với bạn đoán là câu trả lời đúng và không khó để đưa ra chính xác bằng định lý Berry-Esseen

Z_{i}

$Z_i$

n

$n$

— Sasho Nikolov

Câu trả lời:

Đối với những câu hỏi như vậy, bạn thường có được trực giác đúng bằng cách nghĩ đến các biến ngẫu nhiên "phẳng". Nghĩa là, hãy nghĩ về là phân phối đồng đều trên một tập hợp có kích thước và của là phân phối đồng đều trên một tập hợp có kích thước . $X$ $A$ $2^{H(X)}$ $Y$ $B$ $2^{H(Y)}$

Vì vậy, câu hỏi bạn đang hỏi là (nói đại khái) bạn có thể nói gì về kích thước so với và . Nói chung (ví dụ: nếu chúng là các bộ ngẫu nhiên) thì thực sự bạn sẽ có mà tương ứng với . $|A+B|$ $|A|$ $|B|$ $|A+B| \sim |A|\cdot |B|$ $H(X+Y) \sim H(X)+H(Y)$

$|A+B| \ll |A|\cdot |B|$ $A$ $B$ $|A+B|$ $(G,+)$ $|A+B|=O(|A|+|B|)$ $A,B$ $G$ (như bạn đã đề cập trong câu hỏi của mình, blog của Terence Tao thảo luận về một số kết quả như vậy, nói chung, kết quả kích thước tập hợp có thể được chuyển sang cài đặt entropy).

Trường hợp bạn mô tả gần tương ứng với trường hợp là một khoảng nguyên và là một khoảng nguyên có dạng (thực tế, nếu không cố gắng tận dụng sự tập trung và bắn cho một entropy bị ràng buộc, người ta sẽ có và và với khi bạn áp dụng điều này nhiều lần, tuy nhiên thực tế điều này sẽ giống , ). Rõ ràng trong trường hợp này , nhưng tôi không chắc liệu có một ràng buộc chung nào khác rơi vào trường hợp đặc biệt này không. $A$ $[a..b]$ $B$ $[0..c]$ $(1/2)\log n$ $c=1$ $a=0$ $b=k$ $k=1,...,n-1$ $a \sim k-\sqrt{k}$ $b \sim k+ \sqrt{k}$ $|A+B| \leq |A|+c$

— Boaz Barak
nguồn

$n$ $Z_1,Z_2,...,Z_n$ $p$ $Z_1+Z_2+...+Z_n$ $np$ $np$ $\frac{1}{2}\log n + O(\log n)$

— VSJ
nguồn

Có lẽ bạn có thể sử dụng phương trình:

H (Z_{1} + Z_{2} + \dots + Z_{n}) = H (Z_{1}) + H (Z_{2}) + \dots + H (Z_{n}) - H (Z_{1} | Z_{1} + Z_{2} + \dots + Z_{n}) - H (Z_{2} | Z_{2} + Z_{3} + \dots + Z_{n}) - \dots - H (Z_{n - 1} | Z_{n - 1} + Z_{n})

$H(Z_1+Z_2+\cdots+Z_n)=H(Z_1)+H(Z_2)+\cdots+H(Z_n)-H(Z_1|Z_1+Z_2+\cdots+Z_n)-H(Z_2|Z_2+Z_3+\cdots+Z_n)-\cdots-H(Z_{n-1}|Z_{n-1}+Z_n)$

Điều này sẽ trông giống như một thuật ngữ bạn đã đề cập trong các bình luận, thật không may là tôi không biết kết quả về tính chính xác của các điều khoản tiêu cực hoặc giới hạn sâu sắc về chúng.

— Rick
nguồn