Làm thế nào để giải thích entropy khác biệt?

Gần đây tôi đọc này bài viết trên entropy của một phân phối xác suất rời rạc. Nó mô tả một cách suy nghĩ hay về entropy như các bit số dự kiến (ít nhất là khi sử dụng trong định nghĩa entropy của bạn) cần để mã hóa tin nhắn khi mã hóa của bạn là tối ưu, dựa trên phân phối xác suất của các từ bạn sử dụng. $\log_2$

Tuy nhiên, khi mở rộng sang trường hợp liên tục như ở đây, tôi tin rằng cách suy nghĩ này bị phá vỡ, vì cho bất kỳ phân phối xác suất liên tục (vui lòng sửa cho tôi nếu điều đó sai), vì vậy tôi đã tự hỏi nếu có cách suy nghĩ tốt đẹp về ý nghĩa của entropy liên tục, giống như với trường hợp rời rạc. $\sum_x p(x) = \infty$ $p(x)$

entropy information-theory

— dippynark
nguồn

Bạn đã thử đọc các bài viết trên Wikipedia về entropy và entropy khác biệt chưa?

— ttnphns

Một phân phối liên tục không có chức năng khối lượng xác suất. Tương tự trong trường hợp liên tục là tích phân của mật độ xác suất và tích phân trên toàn bộ phạm vi x bằng 1.

— Michael R. Chernick

@MichaelCécick Tôi không nói nó đã có, nhưng cách suy nghĩ về trường hợp rời rạc phụ thuộc vào thực tế là số tiền bằng 1.

— dippynark

@ttnphns không tôi chưa, nhưng tôi sẽ kiểm tra chúng ngay bây giờ, cảm ơn.

— dippynark

Xem thêm stats.stackexchange.com/questions/66186/ Khăn để giải thích về entropy của Shannon. Một số ý tưởng có thể được chuyển giao.

— kjetil b halvorsen

Không có cách giải thích về entropy khác biệt sẽ có ý nghĩa hoặc hữu ích như entropy. Vấn đề với các biến ngẫu nhiên liên tục là các giá trị của chúng thường có xác suất 0 và do đó sẽ yêu cầu số lượng bit vô hạn để mã hóa.

Nếu bạn nhìn vào giới hạn của entropy rời rạc bằng cách đo xác suất khoảng $[n\varepsilon, (n + 1)\varepsilon[$ , bạn kết thúc với

- \int p (x) \log_{2} p (x) d x - \log_{2} ε

$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$

và không phải là entropy vi sai. Đại lượng này có ý nghĩa hơn, nhưng sẽ phân kỳ đến vô cùng khi chúng ta thực hiện các khoảng nhỏ hơn và nhỏ hơn. Điều này có ý nghĩa, vì chúng ta sẽ cần ngày càng nhiều bit để mã hóa trong đó nhiều khoảng giá trị của giá trị ngẫu nhiên của chúng ta rơi.

Một đại lượng hữu ích hơn để xem xét các phân phối liên tục là entropy tương đối (cũng là phân kỳ Kullback - Leibler). Đối với phân phối rời rạc:

D_{KL} [P | | Q] = \sum_{x} P (x) \log_{2} \frac{P (x)}{Q (x)} .

$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$

Nó đo số lượng bit thừa được sử dụng khi phân phối thực sự là $P$ , nhưng chúng tôi sử dụng $-\log Q_2(x)$ các bit để mã hóa $x$ . Chúng ta có thể lấy giới hạn của entropy tương đối và đến

D_{KL} [p ∣∣ q] = \int p (x) \log_{2} \frac{p (x)}{q (x)} d x,

$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$

$\log_2 \varepsilon$

$p(x)$ $\lambda(x) = 1$

- \int p (x) \log_{2} p (x) d x = - D_{KL} [p ∣∣ λ] .

$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$

$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$ $n$ $-\log \varepsilon$ $\lambda$

Xem bài nói chuyện của Sergio Verdu để có phần giới thiệu tuyệt vời về entropy tương đối.

— Lucas
nguồn