Đoán giá trị entropy thấp trong nhiều lần thử

9

Giả sử Alice có một bản phân phối trên một hữu hạn (nhưng có thể rất lớn) miền, như vậy mà (Shannon) entropy của là bị chặn trên bởi một hằng số tùy ý nhỏ . Alice vẽ một giá trị từ , và sau đó yêu cầu Bob (người hiểu biết ) để đoán . $\mu$ $\mu$ $\varepsilon$ $x$ $\mu$ $\mu$ $x$

Xác suất thành công cho Bob là gì? Nếu ông chỉ được phép một dự đoán, sau đó người ta có thể thấp hơn bị ràng buộc khả năng này như sau: entropy trên tiếp giáp với min-entropy, do đó là một yếu tố có khả năng ít nhất . Nếu Bob chọn yếu tố này như đoán của ông, xác suất thành công của ông sẽ là . $2^{-\varepsilon}$ $2^{-\varepsilon}$

Bây giờ, giả sử rằng Bob được phép đưa ra nhiều phỏng đoán, nói đoán và Bob thắng nếu một trong những phỏng đoán của anh ta là đúng. Có một kế hoạch đoán giúp cải thiện xác suất thành công của Bob? Cụ thể, có thể chỉ ra rằng xác suất thất bại của Bob giảm theo cấp số nhân với ? $t$ $t$

it.information-theory pr.probability

— Hoặc Meir
nguồn

10

Đặt cược tốt nhất của Bob là đoán các giá trị với xác suất lớn nhất. $t$

Nếu bạn sẵn sàng để sử dụng Renyi entropy thay vào đó, Dự luật 17 trong Boztaş' entropies, Guessing và Cryptography khẳng định rằng xác suất lỗi sau khi đoán là tại hầu hết $t$ trong đólà kích thước của miền. Cấp, sự phụ thuộc vàolà khá xấu, và có lẽ Boztaş đã tập trung vào một chế độ khác của entropy.

1 - 2^{- H_{2} (μ) (1 - \frac{đăng nhập t}{đăng nhập n})} \approx \ln 2 (1 - \frac{đăng nhập t}{đăng nhập n}) H_{2} (μ),

$1 - 2^{-H_2(\mu)\left(1-\frac{\log t}{\log n}\right)} \approx \ln 2 \left(1-\frac{\log t}{\log n}\right) H_2(\mu),$

n

$n$

t

$t$

Đối với entropy Shannon, bạn có thể cố gắng giải quyết vấn đề tối ưu hóa kép: đưa ra xác suất thất bại cố định , tìm entropy tối đa của phân phối như vậy. Sử dụng lồi của , chúng ta biết rằng sự phân bố có dạng , nơi , $\delta$ $-x\log x$ $\mu$ $a,b,\ldots,b;b,\ldots,b,c$ $a\geq b\geq c$ $a+(t-1)b = 1-\delta$ Và . Chúng tôi có $c = \delta-\lfloor\frac{\delta}{b}\rfloor b$ giá trị nhận được xác suất. Điều hòa trên $t-1+\lfloor\frac{\delta}{b}\rfloor$ $b$ , chúng ta có thể cố gắng tìmlàm tối thiểu entropy. Đối với giá trị chính xác của, đây sẽ là một điểm bên trong (tại đó đạo hàm biến mất). Tôi không chắc chắn làm thế nào để có được ước tính tiệm cận bằng cách sử dụng phương pháp này. $s = \lfloor\frac{\delta}{b}\rfloor$ $b$ $s$

— Yuval Filmus
nguồn

Cảm ơn câu trả lời! Tôi đã thử phương pháp tối ưu hóa mà bạn đề xuất, nhưng không thể có được ước tính tốt.

— Hoặc Meir

Xin chào Yuval, sau một số công việc nữa, có vẻ như phương pháp tối ưu hóa này mang lại giải pháp. Thật không may, trong trường hợp này cũng vậy, lỗi chỉ giảm nghịch đảo logarit theo số lần đoán. Cảm ơn!

— Hoặc Meir

7

$X$ $N$ $N+H(X)$ $1/2$

Đây là một phần lý do tại sao mọi người tiếp tục kiểm tra các entropies Renyi.

— kodlu
nguồn