Các tiện ích của entropies Renyi?

14

Hầu hết chúng ta đều quen thuộc - hoặc ít nhất đã nghe nói về - entropy Shannon của một biến ngẫu nhiên, $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$ và tất cả các biện pháp lý thuyết thông tin liên quan như entropy tương đối, thông tin lẫn nhau, và như vậy. Có một vài biện pháp entropy khác thường được sử dụng trong khoa học máy tính lý thuyết và lý thuyết thông tin, chẳng hạn như entropy tối thiểu của một biến ngẫu nhiên.

Tôi đã bắt đầu thấy những cái gọi là entropies Renyi thường xuyên hơn khi tôi xem tài liệu. Họ khái quát hóa entropy Shannon và entropy min, và trên thực tế cung cấp toàn bộ phổ các biện pháp entropic của một biến ngẫu nhiên. Tôi làm việc chủ yếu trong lĩnh vực thông tin lượng tử, trong đó phiên bản lượng tử của entropy Renyi cũng được xem xét khá thường xuyên.

Điều tôi không thực sự hiểu là tại sao chúng hữu ích. Tôi đã nghe nói rằng đôi khi họ dễ dàng làm việc với phân tích hơn là nói entropy của Shannon / von Neumann hoặc entropy min. Nhưng chúng cũng có thể liên quan trở lại entropy / min-entropy của Shannon.

Bất cứ ai cũng có thể cung cấp các ví dụ (cổ điển hoặc lượng tử) khi sử dụng các entropies Renyi là "điều đúng đắn phải làm"? Những gì tôi đang tìm kiếm là một số "móc tinh thần" hoặc "mẫu" để biết khi nào tôi có thể muốn sử dụng các entropies Renyi.

Cảm ơn!

it.information-theory quantum-information

— Henry Yuen
nguồn

Phụ lục cho câu trả lời của tôi: Dường như có một định nghĩa xác suất của entropy q-Renyi (

) i, e

q \in Z^{+}

$q \in \mathbb{Z}^+$

. Sau đó

và RHS này được gọi là `` Shannon Entropy ". Người ta cũng định nghĩa giới hạn khác tức là

H_{q} ({p_{i}}_{i = 1}^{n}) = \frac{1}{1 - q} l n [\sum_{k = 1}^{n} p_{k}^{q}]

$H_q (\{ p_i \}_{i=1}^n )= \frac{1}{1-q} ln [ \sum_{k=1}^n p_k^q ]$

l i m_{q \to 1} H_{q} = - \sum p_{k} l n (p_{k})

$lim_{q \rightarrow 1} H_q = - \sum p_k ln (p_k)$

. Những ý tưởng này dường như đã được sử dụng trong xây dựng mở rộng như đã thấy ở đây, math.rutgers.edu/~sk1233/cifts/topics-S13, math.ias.edu/~avi/PUBLICutions/MYPAPERS/CRVW01/crvw01.pdf, arx. org / pdf / math / 0406038.pdf

H_{\infty} (X) = l n [\frac{1}{m a x_{a} P r [X = a]}]

$H_{\infty} (X) = ln [\frac{1}{ max_{a} Pr[X=a]} ]$

— Anirbit

15

Xem xét việc thử đoán nguyên tử cho một biến ngẫu nhiên chưa biết được phân phối trên một số tập hữu hạn Trong Shannon entropy, người ta cho rằng bạn có thể truy vấn từng chút một, tức là, nếu bạn có thể đặt câu hỏi: $X$ $A.$ $A=\{1,\ldots,N\}$

Là ? $X\in \{1,\ldots,N/2\}$ (giả sử chẵn hoặc sử dụng các chức năng sàn / trần) $N$

Trong tiền điện tử và một số kịch bản giải mã, điều này không thực tế. Cố gắng đoán một mật khẩu không xác định, bạn cần thực hiện các truy vấn nguyên tử, tức là truy vấn nếu là một giá trị cụ thể. $X$

Nó chỉ ra rằng số lượng dự kiến của các truy vấn để đoán một biến ngẫu nhiên sau đó phụ thuộc chặt chẽ vào entropy Renyi trật tự Vì vậy, làm một số khoảnh khắc cao hơn. Ví dụ $X$ $1/2.$

E [G] \leq \frac{(\sum_{x \in A} P_{X} (x)^{1 / 2})^{2}}{2}

$E[G]\leq \frac{(\sum_{x \in A} P_X(x)^{1/2})^2}{2}$

và tử số về cơ bản là logarit của entropy Renyi theo thứ tự Người ta cũng có thể làm cho entropy của Shannon rất lớn trong khi Renyi entropy và kỳ vọng về số lần đoán là rất nhỏ. Nếu bạn dựa vào entropy của Shannon để bảo mật, bạn sẽ gặp rắc rối trong trường hợp đó. $1/2.$

Vui lòng xem câu hỏi liên quan Đoán giá trị entropy thấp trong nhiều lần thử

Một số tài liệu tham khảo:

JO Pliam, về sự không phù hợp của Entropy và Guesswork cận biên trong các cuộc tấn công Brute-Force. INDOCRYPT 2000: 67-79
E. Arikan, Một sự bất bình đẳng về đoán và ứng dụng của nó để giải mã tuần tự. Giao dịch của IEEE về lý thuyết thông tin 42 (1): 99-105,1996.
S. Boztas, Trên các entropies của Renyi và các ứng dụng của họ để đoán các cuộc tấn công trong mật mã, Giao dịch IEICE về các nguyên tắc cơ bản của Điện tử, Truyền thông và Khoa học Máy tính 97 (12): 2542-2548, 2014.

— kodlu
nguồn

Tôi không thể truy cập bài báo S.Boztas này. Bạn có một liên kết truy cập công khai?

— Anirbit

@Anirbit thấy kho nghiên cứu RMIT, researchbank.rmit.edu.au

— kodlu

Tôi đã tìm kiếm thông qua liên kết đó. Nó chỉ đưa tôi vào vòng tròn. Tôi không bao giờ tìm thấy một tập tin pdf có thể truy cập công khai!

— Anirbit

@Anirbit, xin lỗi, tôi nghĩ rằng nó thực sự được gửi ở đó!

— kodlu

18

Renyi entropy tương tự, theo một cách nào đó, với -norms, vì vậy trước tiên chúng ta hãy nhớ lại tại sao những chuẩn mực đó lại hữu ích. $\ell_p$

Giả sử ta có một vectơ các số . Chúng tôi muốn có một số duy nhất đại diện, theo một cách nào đó, yếu tố điển hình của diện mạo trông như thế nào. $a \in \mathbb{R}^n$ $a$

Một cách để làm như vậy là để lấy trung bình các số trong , trong đó khoảng tương ứng với chuẩn: . Đây là thường hữu ích, nhưng đối với một số ứng dụng nó có những vấn đề sau: Thứ nhất, chuẩn mực không cho chúng ta một tốt giới hạn trên cho phần tử lớn nhất của , bởi vì nếu có một yếu tố duy nhất lớn và nhiều zero, các định mức sẽ nhỏ hơn đáng kể so với phần tử lớn nhất. Mặt khác, $a$ $\ell_1$ $\mathbb{E}_{1 \le i \le n}[|a_i|]$ $\ell_1$ $a$ $\ell_1$ $\ell_1$ chuẩn mực cũng không cung cấp cho chúng ta một tốt ràng buộc về nhỏ như thế nào các yếu tố của là, ví dụ, có bao nhiêu zero có - Vấn đề này xảy ra trong chính xác cùng một kịch bản như trước đây. $a$ $a$

Tất nhiên, khi các yếu tố của phương sai có nhiều phương sai, chẳng hạn như trong kịch bản cực đoan như trên, không một con số nào có thể đưa ra giải quyết cả hai vấn đề trên. Chúng tôi có một sự đánh đổi. Ví dụ: nếu chúng ta chỉ muốn biết phần tử lớn nhất, chúng ta có thể sử dụng định mức , nhưng sau đó chúng ta sẽ mất tất cả thông tin về các phần tử nhỏ hơn. Nếu chúng ta muốn số lượng số không, chúng ta có thể xem định mức , đây chỉ là kích thước của sự hỗ trợ của . $a$ $\ell_\infty$ $\ell_0$ $a$

Bây giờ, lý do để xem xét định mức là họ cung cấp cho chúng tôi toàn bộ sự cân bằng liên tục giữa hai thái cực. Nếu chúng ta muốn biết thêm thông tin về các phần tử lớn, chúng ta sẽ lấy lớn hơn và ngược lại. $\ell_p$ $p$

Điều tương tự cũng xảy ra với các entropy của Renyi: entropy của Shanon giống như định mức - nó cho chúng ta biết điều gì đó về xác suất "điển hình" của một yếu tố, nhưng không có gì về phương sai hoặc cực trị. Entropy min cung cấp cho chúng ta thông tin về phần tử với xác suất lớn nhất, nhưng mất tất cả thông tin về phần còn lại. Kích thước hỗ trợ cho cực đoan khác. Các entropies Renyi cho chúng ta một sự đánh đổi liên tục giữa hai thái cực. $\ell_1$

Ví dụ, nhiều lần entropy Renyi-2 hữu ích vì nó một mặt gần với entropy của Shanon, và do đó chứa thông tin về tất cả các yếu tố trên bản phân phối, mặt khác cung cấp thêm thông tin về các phần tử lớn nhất xác suất. Cụ thể, người ta biết rằng các giới hạn của entropy Renyi-2 đưa ra các giới hạn trên entropy min, xem, ví dụ, Phụ lục A ở đây: http://people.seas.harvard.edu/~salil/research/conductors-pr006 .ps

— Hoặc Meir
nguồn

11

Renyi entropy (của đơn hàng 2) rất hữu ích trong việc mã hóa để phân tích xác suất va chạm.

Hãy nhớ rằng entropy Renyi của bậc 2 của một biến ngẫu nhiên được cho bởi $X$

H_{2} (X) = - \log_{2} \sum_{x} Pr [X = x]^{2} .

$H_2(X) = - \log_2 \sum_x \Pr[X=x]^2.$

Hóa ra cho phép chúng ta đo xác suất hai giá trị được rút ra theo phân phối của xảy ra giống nhau ("va chạm"): xác suất này chính xác là . Sau khi vẽ lần từ phân phối này, số lượng dự kiến của sự va chạm giữa các rút là . $H_2(X)$ $X$ $2^{-H_2(X)}$ $n$ $n$ $C(n,2) 2^{-H_2(X)}$

Những sự thật này rất hữu ích trong mật mã, trong đó các va chạm đôi khi có thể có vấn đề và cho phép các cuộc tấn công.

Đối với một số phân tích về các ứng dụng khác trong mật mã học, tôi đề nghị luận án tiến sĩ sau đây:

Christian Cachin. Các biện pháp Entropy và bảo mật vô điều kiện trong mật mã . Luận án tiến sĩ, ETH Zurich, tháng 5 năm 1997.

— DW
nguồn

Có một định nghĩa xác suất trực tiếp của bất kỳ entropy q-Renyi nào không? (như bạn có thể thấy từ câu trả lời của tôi, cách duy nhất tôi biết để xác định điều này tại q tùy ý là thông qua việc xác định các hàm phân vùng tương ứng với một hệ thống vật lý đã được chỉ định thông qua Lagrangian hoặc Hamilton hoặc hành động của nó)

— Anirbit

@Anirbit, tôi không konw. Không có gì tôi nhớ là đã thấy (mặc dù có thể entropy q-Renyi có thể dẫn đến giới hạn ở các giới hạn khác mà chúng tôi quan tâm ...)

— DW

Ngoài ra, có vẻ như "entropy thông tin" về cơ bản là "entropy nhiệt động". Vì vậy, ngay cả tại (q = 1) -Renyi entropy tức là entropy vướng víu có một khoảng cách khái niệm về cách giải thích phức tạp của nó?

— Anirbit

- \infty

$-\infty$

@DW Dường như có một cách giải thích xác suất. Đừng xem bình luận của tôi về câu hỏi ban đầu.

— Anirbit

3

Câu trả lời stackexchange khác và bài đăng trên blog này có thể rất hữu ích để có được cảm nhận nhanh về một ví dụ cơ bản,

Nói một cách thô thiển các entropy Renyi biết về các trạng thái kích thích của một hệ lượng tử nhưng entropy vướng víu biết về các trạng thái cơ bản. CẢNH BÁO: Trực giác này có thể rất thô thiển nhưng có thể chỉ là một "cái móc tinh thần" tốt: DI sẽ rất hạnh phúc khi biết một cách tốt hơn và chính xác để nói điều này!

Người ta có thể nghĩ đến việc tính toán entropy entropy (là một đại lượng vật lý hơn) là giới hạn số ít của việc tính toán các entropi Renyi ( cho mỗi ). Nhưng giới hạn này $S_1$ $S_q$ $q \in \mathbb{Z}^+$ $S_1 = limit_{q \rightarrow 1} S_q$ $S_q$ $q \in \mathbb{R}$ $q \rightarrow 1$ $q \in \mathbb{R}$ $S_q$

$q>1$ $q-$ $q$

Luôn luôn có rất nhiều vấn đề về sự tồn tại và sự ổn định khi người ta cố gắng thực hiện những sự tiếp nối anayltic này - nhưng đối với một người như tôi, người đã đưa ra chế độ ăn uống hàng ngày cho con đường Feynman - đó là vấn đề rất phổ biến để giải quyết và chúng ta có rất nhiều công cụ để giải quyết những điều này. Ba bài báo hay để xem xét các vấn đề này là, http://arxiv.org/pdf/1306.5242.pdf , http://arxiv.org/pdf/1402.5394.pdf , http://arxiv.org/pdf/1303.7221 .pdf (phần cuối của những bài báo này có thể là điểm khởi đầu dễ dàng hơn) Bài thuyết trình này cũng có thể giúp ích, https://www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf

Những gì Renyi entropy nói về mặt lý thuyết phức tạp lượng tử có thể là một câu hỏi thú vị! Người ta có thể nghĩ về chỉ số Renyi bằng cách nào đó tham số hóa một hệ thống phân cấp của các lớp phức tạp không? Điều đó sẽ rất vui nếu đúng! Hãy cho tôi biết :)

— Anirbit
nguồn

0

Renyi entropy đã tìm được cách định nghĩa các luồng thông tin định lượng , một lĩnh vực hoặc nghiên cứu bảo mật. Xem bài khảo sát của G. Smith .

— Kai
nguồn