Là entropy vi phân luôn luôn nhỏ hơn vô hạn?

Đối với một biến ngẫu nhiên liên tục tùy ý, nói , là nó entropy khác biệt luôn nhỏ hơn $X$ $\infty$ ? (Sẽ ổn nếu nó .) Nếu không, điều kiện cần và đủ để nó nhỏ hơn gì? $-\infty$ $\infty$

entropy information-theory maximum-entropy

— syeh_106
nguồn

Bạn đã thử bất kỳ ví dụ? Giống như, phân phối đồng đều trên một khoảng dài

L

$L$

— Piotr Migdal

Thật vậy, entropy vi phân của một phân phối đồng đều (trên bất kỳ khoảng hữu hạn nào) luôn luôn là hữu hạn, tức là log (L), do đó bị ràng buộc. Trên thực tế, tôi có thể xác định 2 lớp phân phối liên tục mà entropy luôn bị giới hạn - (1) bất kỳ phân phối nào có hỗ trợ được chứa trong một khoảng hữu hạn và (2) bất kỳ phân phối nào có thời điểm thứ 2 là hữu hạn. Các cựu được giới hạn bởi phân phối thống nhất; trong khi cái sau được giới hạn bởi phân phối Gaussian.

— syeh_106

Trên thực tế, tôi cũng có thể xây dựng một phân phối với khoảnh khắc thứ 2 vô hạn và vẫn có entropy hữu hạn. Ví dụ: xem xét f (x) = 3 / (x ^ 2), x> 3. Rõ ràng E [X ^ 2] là vô hạn, nhưng h (X) ~ = -3.1 nats. Tuy nhiên, tôi không thể xác nhận liệu điều này có đúng với các biến ngẫu nhiên liên tục tùy ý hay đưa ra một ví dụ phản biện để bác bỏ nó. Tôi thực sự đánh giá cao nó nếu ai đó có thể hiển thị điều này.

— syeh_106

Cảm ơn bạn đã bình luận của bạn và các liên kết, Piotr. Tình cờ, tôi cũng đã kiểm tra một trong những tài liệu khóa học của mình và tìm thấy chính xác cùng một ví dụ về một biến ngẫu nhiên rời rạc với sự hỗ trợ vô hạn. Được thúc đẩy bởi điều này, không khó để xây dựng một tương tự liên tục. Vì vậy, câu trả lời cho câu hỏi đầu tiên là hiển nhiên. Tôi sẽ tóm tắt nó dưới đây cho những người khác có thể có cùng câu hỏi. BTW, tôi cần thực hiện chỉnh sửa trong nhận xét thứ 2 của mình ở trên, cụ thể, với f (x) = 3 / (x ^ 2), h (X) phải là số dương, tức là 3,1 nats.

— syeh_106

Câu hỏi này và câu trả lời không rõ ràng bởi vì chúng không nêu rõ các giới hạn nào sẽ được áp dụng. Nếu

là RV, thì nó có entropy, period. Nếu đó là một RV liên tục "tùy ý", thì (rõ ràng) không có giới hạn trên có thể. Những hạn chế nào bạn định áp đặt cho

? Từ các bình luận và câu trả lời của bạn, có vẻ như bạn có thể muốn khắc phục sự hỗ trợ của

- hay không? Có lẽ bạn muốn giới hạn

với các biến đó với giới hạn nhất định vào những thời điểm nhất định? Có lẽ bạn muốn

ở trong một gia đình tham số - hoặc có thể không? Vui lòng chỉnh sửa câu hỏi này để làm rõ.

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

— whuber

Tôi đã nghĩ về câu hỏi này nhiều hơn và quản lý để tìm một ví dụ ngược lại, cũng nhờ vào những bình luận của Piotr ở trên. Câu trả lời cho câu hỏi đầu tiên là không - entropy khác biệt của một biến ngẫu nhiên liên tục (RV) là không luôn nhỏ hơn . Ví dụ: hãy xem xét một RV X liên tục có pdf là $\infty$ cho

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

Không khó để xác minh rằng entropy khác biệt của nó là vô hạn. Nó phát triển khá chậm mặc dù (khoảng logarit).

Đối với câu hỏi thứ 2, tôi không biết một điều kiện đơn giản và đủ cần thiết. Tuy nhiên, một câu trả lời một phần như sau. Phân loại RV liên tục thành một trong 3 Loại sau dựa trên sự hỗ trợ của nó, tức là

Loại 1: RV liên tục có hỗ trợ giới hạn, nghĩa là có trong [a, b].
Loại 2: a RV liên tục mà sự ủng hộ là nửa giáp, tức là chứa trong [a, ) hoặc ( , a] Loại 3: a RV liên tục mà sự ủng hộ là vô biên. $\infty$ $-\infty$

Sau đó, chúng tôi có những điều sau đây -

Đối với một loại 1 RV, entropy của nó luôn nhỏ hơn là , vô điều kiện. Đối với một loại 2 RV, entropy của nó là ít hơn , nếu trung bình của nó ( ) là hữu hạn. Đối với một Loại 3 RV, entropy của nó là ít hơn , nếu đúng của nó ( $\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$ ) là hữu hạn.

Entropy vi sai của RV loại 1 nhỏ hơn phân bố đồng đều tương ứng, tức là , RV loại 2, phân bố theo cấp số nhân, tức là và RV loại 3, phân phối Gaussian, tức là $log(b-a)$ $1+log(|\mu-a|)$ . $\frac{1}{2} log(2{\pi}e\sigma^2)$

Lưu ý rằng đối với RV loại 2 hoặc 3, điều kiện trên chỉ là điều kiện đủ . Ví dụ: hãy xem xét RV loại 2 với cho. Rõ ràng, ý nghĩa của nó là vô hạn, nhưng entropy của nó là 3,1 nats. Hoặc xem xét RV loại 3 với

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

cho

. Phương sai của nó là vô hạn, nhưng entropy của nó là 2,6 nats. Vì vậy, sẽ thật tuyệt, nếu ai đó có thể cung cấp một câu trả lời đầy đủ hoặc thanh lịch hơn cho phần này.

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
nguồn

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

Cảm ơn bạn, Piotr, vì những lời khuyên về chính sách SE. (Vâng, tôi rõ ràng là người mới ở đây.) Về những khoảnh khắc hữu hạn dẫn đến entropy bị ràng buộc, bạn có chia sẻ bằng chứng của mình không? Cảm ơn!

— syeh_106

@PiotrMigdal Tôi dự định để lại câu trả lời cho câu hỏi này ở trạng thái hiện tại sau khi thêm một liên lạc cuối cùng. Được thúc đẩy bởi nhận xét của Piotr ở trên, tôi đã xem xét nếu có nghĩa là hữu hạn dẫn đến entropy hữu hạn. Tôi không thể kết luận điều này nói chung. Những gì tôi đã tìm thấy là nó đúng nếu sự hỗ trợ của RV bị giới hạn một nửa. Xin vui lòng xem câu trả lời sửa đổi ở trên. Tôi mong chờ một câu trả lời tốt hơn từ ai đó một ngày nào đó.

— syeh_106

"Không khó để xác minh rằng entropy khác biệt của nó là vô hạn." Bạn có thể chỉ ra làm thế nào để xác minh điều này? Điều này có vẻ đúng với tích phân Riemann, nhưng entropy khác biệt liên quan đến biện pháp Lebesgue. Tôi gặp khó khăn khi xác minh rằng tích phân Lebesgue tương ứng không hội tụ.

— cantorhead

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$