Shannon Entropy 0,922, 3 giá trị riêng biệt

14

Đưa ra một chuỗi các giá trị , Shannon Entropy trong cơ sở nhật ký là . Theo những gì tôi hiểu, trong cơ sở , Shannon Entropy được làm tròn là số bit tối thiểu trong nhị phân để biểu diễn một trong các giá trị. $AAAAAAAABC$ $2$ $0.922$ $2$

Lấy từ phần giới thiệu trên trang wikipedia này:

https://en.wikipedia.org/wiki/Entropy_%28inif_theory%29

Vì vậy, làm thế nào ba giá trị có thể được đại diện bởi một bit? có thể là , có thể là ; nhưng làm thế nào bạn có thể đại diện cho ? $A$ $1$ $B$ $0$ $C$

Cảm ơn bạn trước.

— Sean C
nguồn

16

Entropy mà bạn đã tính không thực sự dành cho chuỗi cụ thể mà thay vào đó là một nguồn biểu tượng ngẫu nhiên tạo với xác suất và và với xác suất mỗi , không có mối tương quan giữa các biểu tượng liên tiếp. Entropy được tính toán cho phân phối này, trung bình có nghĩa là trung bình bạn không thể biểu diễn các chuỗi được tạo từ phân phối này bằng cách sử dụng ít hơn bit cho mỗi ký tự. $A$ $\tfrac{8}{10}$ $B$ $C$ $\tfrac1{10}$ $0.922$ $0.922$

Có thể khá khó để phát triển một mã sẽ đạt được tỷ lệ này. ^* Ví dụ, mã hóa Huffman sẽ phân bổ các mã , và cho , và , tương ứng với trung bình bit cho mỗi ký tự. Điều đó khá xa so với entropy, mặc dù vẫn tốt hơn nhiều so với mã hóa hai bit trên mỗi ký tự. Bất kỳ nỗ lực nào để mã hóa tốt hơn có thể sẽ khai thác thực tế rằng thậm chí một chuỗi mười liên tiếp có nhiều khả năng (xác suất ) so với một đơn . $0$ $10$ $11$ $A$ $B$ $C$ $1.2$ $A$ $0.107$ $B$

^* Hóa ra không khó để đến gần như bạn muốn - xem các câu trả lời khác!

— David Richerby
nguồn

18

Dưới đây là một mã hóa cụ thể có thể đại diện cho mỗi ký hiệu trung bình dưới 1 bit:

Đầu tiên, chia chuỗi đầu vào thành các cặp ký tự liên tiếp (ví dụ AAAAAAAABC trở thành AA | AA | AA | AA | BC). Sau đó mã hóa AA là 0, AB là 100, AC là 101, BA là 110, CA là 1110, BB là 111100, BC là 111101, CB là 111110, CC là 111111. _{Tôi chưa nói điều gì xảy ra nếu có số lẻ số lượng biểu tượng, nhưng bạn chỉ có thể mã hóa biểu tượng cuối cùng bằng cách sử dụng một số mã hóa tùy ý, điều đó không thực sự quan trọng khi đầu vào dài.}

Đây là mã Huffman để phân phối các cặp ký hiệu độc lập và tương ứng với việc chọn trong câu trả lời của Yuval. Lớn hơn sẽ dẫn đến các mã thậm chí tốt hơn (tiếp cận entropy Shannon trong giới hạn, như ông đã đề cập). $n = 2$ $n$

Số bit trung bình trên mỗi cặp ký hiệu cho mã hóa trên là tức là bit cho mỗi ký hiệu, không quá xa so với entropy Shannon thực sự cho một mã hóa đơn giản như vậy.

\frac{số 8}{10} \cdot \frac{số 8}{10} \cdot 1 + 3 \cdot \frac{số 8}{10} \cdot \frac{1}{10} \cdot 3 + \frac{1}{10} \cdot \frac{số 8}{10} \cdot 4 + 4 \cdot \frac{1}{10} \cdot \frac{1}{10} \cdot 6 = = 1,92

$\frac{8}{10} \cdot \frac{8}{10} \cdot 1 + 3 \cdot \frac{8}{10} \cdot \frac{1}{10} \cdot 3 + \frac{1}{10} \cdot \frac{8}{10} \cdot 4 + 4 \cdot \frac{1}{10} \cdot \frac{1}{10} \cdot 6 = 1.92$

1.92 / 2 = 0.96

$1.92/2 = 0.96$

— du mục
nguồn

13

$\mathcal{D}$ $\{A,B,C\}$ $X \sim \mathcal{D}$ $\Pr[X=A] = 4/5$ $\Pr[X=B]=\Pr[X=C]=1/10$

$n$ $C_n\colon \{A,B,C\}^n \to \{0,1\}^*$

lim_{n \to \infty} \frac{E_{X_{1}, Giáo dục, X_{n} ~ D} [C_{n} (X_{1}, Giáo dục, X_{n})]}{n} = = H (D) .

$\lim_{n\to\infty} \frac{\operatorname*{\mathbb{E}}_{X_1,\ldots,X_n \sim \mathcal{D}}[C_n(X_1,\ldots,X_n)]}{n} = H(\mathcal{D}).$

$\mathcal{D}$ $H(\mathcal{D}) \approx 0.922$ $A$

$A^8BC$

— Yuval Filmus
nguồn