Giải thích entropy cho phân phối liên tục?

"Entropy" đại khái nắm bắt mức độ "thông tin" trong phân phối xác suất.

Đối với các phân phối rời rạc, có một cách giải thích chính xác hơn nhiều: entropy của một biến ngẫu nhiên rời rạc là giới hạn thấp hơn trên số bit dự kiến ​​cần thiết để chuyển kết quả của biến ngẫu nhiên.

Nhưng đối với một biến ngẫu nhiên liên tục, có vô số kết quả vô hạn, vì vậy chúng ta thậm chí không thể bắt đầu chuyển giao kết quả chính xác nào đã xảy ra trong một chuỗi bit hữu hạn.

Một cách giải thích tương đương của entropy cho các biến liên tục là gì?

Do mật độ giới hạn của các điểm rời rạc , nên việc giải thích không thể khái quát thành

Bởi vì việc khái quát hóa trực tiếp dẫn đến Rõ ràng, phát nổ.

Theo trực giác, vì , do đó, lý do sử dụng ít bit hơn để mã hóa thứ gì đó có nhiều khả năng xảy ra không giữ được . Vì vậy, chúng ta cần tìm một cách khác để giải thích , và lựa chọn là phân kỳ .$p(x)dx = 0$$S= -\int dx p(x)\ln (p(x)dx)$$KL$

Giả sử chúng ta có phân phối đồng đều trong cùng một không gian trạng thái, thì chúng ta có Vì chỉ là hằng số, vì vậy chúng tôi giữ nguyên dạng và đồng thời xây dựng một đại lượng được xác định rõ ràng cho phân phối liên tục .$q(x)$

Vì vậy, từ phân kỳ , entropy của phân phối liên tục có thể được hiểu là:$KL$$p(x)$

Nếu chúng ta sử dụng phân phối đồng đều để mã hóa , thì trung bình có bao nhiêu bit không cần thiết.$p(x)$

Bạn phân biệt vấn đề thông qua mật độ xác suất. Một biến ngẫu nhiên liên tục có mật độ , gần đúng cục bộ với , hiện là một dạng tương tự của trường hợp rời rạc . Và theo lý thuyết tính toán, các khoản tiền của bạn tương đương trở thành tích phân trên không gian trạng thái của bạn.$f(x)$$P(X\in [x,x+\delta x]) \approx f(x)\delta x$