Mã Huffman tốt như thế nào khi không có chữ cái xác suất lớn?

Mã Huffman cho phân phối xác suất $p$ là mã tiền tố có độ dài từ mã trung bình có trọng số tối thiểu $\sum p_i \ell_i$ , trong đó $\ell_i$ là độ dài của từ mã thứ $i$ . Một định lý nổi tiếng là độ dài trung bình trên mỗi ký hiệu của mã Huffman nằm giữa $H(p)$ và $H(p)+1$ , trong đó $H(p) = -\sum_i \, p_i \log_2 p_i$ là entropy Shannon của phân phối xác suất.

Ví dụ xấu chính tắc, trong đó độ dài trung bình vượt quá entropy của Shannon gần 1, là phân phối xác suất như $\{.999, .001\}$ , trong đó entropy gần 0 và độ dài từ mã trung bình là 1. Điều này tạo ra một khoảng cách giữa entropy và độ dài từ mã gần $1$ .

Nhưng điều gì xảy ra khi có một ràng buộc về xác suất lớn nhất trong phân phối xác suất? Ví dụ, giả sử rằng tất cả các xác suất nhỏ hơn $\frac{1}{2}$ . Khoảng trống lớn nhất tôi có thể tìm thấy trong trường hợp này là phân phối xác suất, chẳng hạn như $\{.499, .499, .002\}$ , trong đó entropy nhỉnh hơn 1 và độ dài từ mã trung bình nhỏ hơn 1,5, cho khoảng cách tiếp cận $0.5$ . Đây có phải là điều tốt nhất bạn có thể làm? Bạn có thể đưa ra một giới hạn trên về khoảng cách nhỏ hơn 1 cho trường hợp này không?

Bây giờ, hãy xem xét trường hợp tất cả các xác suất là rất nhỏ. Giả sử bạn chọn một phân bố xác suất trên $M$ chữ, từng có xác xuất $1/M$ . Trong trường hợp này, khoảng cách lớn nhất xảy ra nếu bạn chọn $M \approx 2^k \ln 2$ . Tại đây, bạn nhận được khoảng cách khoảng

\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.

$\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.$ Đây có phải là điều tốt nhất bạn có thể làm trong tình huống mà tất cả các xác suất đều nhỏ?

Câu hỏi này được lấy cảm hứng từ câu hỏi TCS Stackexchange này .

optimization it.information-theory coding-theory

— Peter Shor
nguồn

Câu trả lời:

Có rất nhiều bài nghiên cứu chính xác vấn đề bạn đề cập. Cuốn đầu tiên trong sê-ri là một bài báo của Gallager, "Biến thể về chủ đề của Huffman", IEEE-IT, tập. 24, 1978, trang 668-674. Ông chứng minh rằng sự khác biệt giữa độ dài từ mã trung bình của một mã Huffman và entropy (mà ông gọi là số lượng "dư thừa") luôn luôn là đúng ít hơn (= xác suất lớn nhất trong phân bố xác suất), trong trường hợp , và nó là ít hơn , nếu . Giới hạn tốt hơn được biết đến, bạn có thể tìm thấy chúng trong rất nhiều bài báo trích dẫn công việc của Gallager. $p$ $p\geq 1/2$ $p+0.086$ $p<1/2$

— Ugo
nguồn

Giới hạn tối ưu đã được tìm thấy bởi Manstetten, Giới hạn chặt chẽ về sự dư thừa của mã Huffman .

— Yuval Filmus

Đánh giá bởi ràng buộc, tôi tin rằng bạn có ý định đặt một câu hỏi khác nhau ... hoặc bạn chỉ không nói rõ cách bạn lấy "trung bình". Vì vậy, tôi sẽ trả lời cả hai. Câu trả lời là không cho cả hai câu hỏi. $H(p) \leq \ldots \leq H(p)+1$

Thứ nhất, nếu bạn xác định chiều dài mã trung bình sử dụng một phân bố đều hơn từ mã và mất như trên ràng buộc về khả năng của bất kỳ một yếu tố, sau đó xem xét các mã có độ dài nơi từ mã có chiều dài và còn lại có chiều dài . Đối với phân phối được mã hóa hoàn hảo bởi mã này, độ dài trung bình tiếp cận , trừ khi bạn cũng có giới hạn thấp hơn cho xác suất của một yếu tố, trong khi entropy là $2^{-q}$ $q+k$ $2^{q-1}$ $q$ $2^{q+k-1}$ $q+k$ $q+k$ . $q+\frac{k}{2}$

Bây giờ chúng ta hãy xem xét "độ dài trung bình" có nghĩa là độ dài từ mã trung bình khi mã Huffman được sử dụng để mã cho . Tại đây, các ràng buộc là chặt chẽ, và phân phối ví dụ đạt được nó trong giới hạn là một trong đó mỗi phần tử xảy ra với xác suất cho (Phần tử cuối cùng được gán bất kỳ xác suất còn sót lại nào, nhưng nó sẽ không tạo ra sự khác biệt bất thường). $p$ $2^{q\pm 1/2}$ $q \in {\mathbb Z}.$

Ví dụ: xem xét Sau đó $q = 7.$

mang lại. Phân phối của chúng tôi cóphần tử với xác suất ,với xác suất và một phần tử có phần còn lại. $A + B = 128, A\sqrt{2}+B/\sqrt{2}\leq 128, \max_{A \in {\mathbb Z}} A$ $A = 52, B = 76$ $52$ $2^{-6.5}$ $76$ $2^{-7.5}$

Sau đó , trong khi mã Huffman đạt mất entropy. (Ngẫu nhiên, sự mất mát dữ liệu ngẫu nhiên có một cái tên, cho dù bạn làm Huffman mã hóa hoặc tùy tiện mã hóa cho : các Kullback-Liebler phân kỳ $H(X) = (52\cdot 6.5 + 76 \cdot 7.5)/128 = 7.09375$ $(52 \cdot 0.5 - 76 \cdot 0.5)/128 \approx 0.99436$ $Q$ . Sử dụng nó, tôi đã phát hiện ra một vài ngày trước, dẫn đến giới hạn hai mặt chặt chẽ hơn, như bạn có thể thấy trên Wikipedia cho các giới hạn của Chernoff.) $D(P\Vert Q) = \sum p_i \log \frac{p_i}{q_i} + \sum (1-p_i) \log \frac{1-p_i}{1-q_i}$

— Carl
nguồn

Tôi hơi khó hiểu với ví dụ thứ hai này. Nếu bạn có 128 từ mã, thì có một mã có độ dài từ trung bình 7 (thực tế, tất cả các độ dài từ có 7), điều này mâu thuẫn với tuyên bố của bạn rằng entropy là 7.09375. Entropy của phân phối này (mà bạn nhận được bằng cách lấy trung bình có trọng số là

chứ không phải trung bình) là 6,88, trong khi độ dài trung bình của mã Huffman là 7. Điều này tạo ra một khoảng cách (hoặc phân kỳ Kullback-Liebler) trong khoảng 0,12, có vẻ khá hơn một chút so với ví dụ của tôi, nhưng không gần với 1.

- \log_{2} p_{i}

$-\log_2 p_i$

— Peter Shor

Và thực sự, bạn đã đúng. Tôi dự định hỏi về độ dài từ mã dự kiến theo phân phối xác suất

p

$p$

— Peter Shor

Rất tiếc, tôi đã nhầm lẫn về

. Chúng tôi vẫn muốn

A

$A$

B

$B$

ít hơn

, nhưng một cái gì đó như

, để buộc các mục nhỏ hơn vào hàng thấp hơn. Điều này cho phép

A \sqrt{2} + B / \sqrt{2}

$A\sqrt{2}+B/\sqrt{2}$

2^{k}

$2^k$

A + 2 B = 2^{k}

$A+2B=2^k$

A = \frac{2 - 1 / \sqrt{2}}{\sqrt{2} - 1} B .

$A = \frac{2-1/\sqrt{2}}{\sqrt{2}-1}B.$

— Carl

Trên thực tế đó sẽ là

... nhưng hệ phương trình này không có giải pháp tích cực - có vẻ như chúng ta không thể buộc mọi thứ phải là nửa lũy thừa của

. Vì vậy, thay vì

2 A + B

$2A+B$

2

$2$

và

\sqrt{2}

$\sqrt{2}$

chúng ta có thể xem xét, ví dụ

cho một nửa mã Huffman và

cho phần còn lại, đưa ra

mục ...

1 / \sqrt{2}

$1/\sqrt{2}$

(1 + x) / 2^{k}

$(1+x)/2^k$

(1 - x) / 2^{k + 1}

$(1-x)/2^{k+1}$

3 * 2^{k}

$3*2^k$

— Carl

Vì vậy, hãy thử điều này (không tối ưu - tôi cho rằng điều đó phụ thuộc vào cách bạn quyết định làm tròn hoặc lên).

mục với xác suất

và

mục với xác suất

có entropy

. Thay vì thay đổi điều đó để

mục với xác suất

64

$64$

1 / 128

$1/128$

128

$128$

1 / 256

$1/256$

7.5

$7.5$

64

$64$

và

mục với xác suất

1 / 128 \sqrt{2}

$1/128\sqrt{2}$

128

$128$

. Entropy của phân phối này là

1 / 256 (2 - 1 / \sqrt{2})

$1/256(2-1/\sqrt{2})$

mang đến cho 6,4023, trong khi entropy của mã Huffman là 7,5 dưới đồng phục, và

Vì vậy, trừ khi tôi tính toán sai (và tôi thường làm), điều này cho khoảng cách khoảng

1 / (2 \sqrt{2}) * 7.5 + (1 - 1 / (2 \sqrt{(} 2))) * 5.802

$1/(2\sqrt{2})*7.5+(1-1/(2\sqrt(2)))*5.802$

(1 - 2^{- 1.5}) * 7 + 2^{- 1.5} * 8 = 7.3535.

$(1-2^{-1.5})*7+2^{-1.5}*8 = 7.3535.$

0.95

$0.95$

— Carl