Shannon Entropy để Min-Entropy

Trong nhiều bài báo tôi đã đọc rằng ai cũng biết rằng entropy Shannon của một biến ngẫu nhiên có thể được chuyển đổi thành entropy tối thiểu (tối đa khoảng cách thống kê nhỏ) bằng cách lấy các bản sao của biến độc lập. Bất cứ ai có thể giải thích cho tôi chính xác điều này có nghĩa là gì?

Đây là hậu quả của tài sản trang bị tiệm cận (AEP), là một dạng của luật số lượng lớn. AEP tuyên bố rằng nếu một biến ngẫu nhiên có entropy (nhị phân)$H$ và bạn lấy $n$ bản sao của nó, sau đó hầu hết các điểm dữ liệu có xác suất khoảng $2^{-nH}$. Điều này chỉ đúng với hầu hết các điểm dữ liệu, là nguồn của khoảng cách thống kê nhỏ mà bạn đề cập.

Ví dụ, xem xét một $p$đồng xu thiên vị. Nếu bạn ném$n$ tiền xu thiên vị $p$, sau đó rất có thể bạn sẽ nhận được khoảng $pn$ người đứng đầu, mỗi sự kiện có xác suất đại khái