Phân phối nào có entropy tối đa cho độ lệch tuyệt đối trung bình đã biết?

Tôi đã đọc cuộc thảo luận trên Hacker News về việc sử dụng độ lệch chuẩn trái ngược với các số liệu khác như độ lệch tuyệt đối trung bình. Vì vậy, nếu chúng ta tuân theo nguyên tắc entropy tối đa, chúng ta sẽ sử dụng loại phân phối nào nếu chúng ta chỉ biết giá trị trung bình của phân phối và độ lệch tuyệt đối trung bình?

Hay nó có ý nghĩa hơn khi sử dụng trung vị và độ lệch tuyệt đối trung bình so với trung vị?

Tôi đã tìm thấy một Nguyên tắc Entropy tối đa với các biện pháp sai lệch chung của Grechuk, Molyboha và Zabarankin có vẻ như có thông tin mà tôi tò mò, nhưng tôi phải mất một thời gian để giải mã nó.

distributions maximum-entropy mad

— Ăn kiêng
nguồn

Câu hỏi thú vị; Chào mừng bạn đến với Xác thực chéo!

— Nick Stauner

Những quý ông thông thái này, Kotz, S., Kozubowski, TJ, & Podgorski, K. (2001). Phân phối và khái quát hóa Laplace: Xem xét lại các ứng dụng cho truyền thông, kinh tế, kỹ thuật và tài chính (số 183). Mùa xuân.

thách thức chúng tôi bằng một bài tập:

nhập mô tả hình ảnh ở đây

Bằng chứng có thể tuân theo Bằng chứng lý thuyết thông tin rằng Bình thường là entropy tối đa cho giá trị trung bình và phương sai đã cho. Cụ thể: Đặt là mật độ Laplace ở trên và để là bất kỳ mật độ nào khác, nhưng có cùng độ lệch tuyệt đối trung bình và trung bình. Điều này có nghĩa là sự bình đẳng sau đây giữ: $f(x)$ $g(x)$

E_{g} (| X - c_{1} |) = \int g (x) | x - c_{1} | d x = c_{2} = \int f (x) | x - c_{1} | d x = E_{f} (| X - c_{1} |) [1]

$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$ Bây giờ hãy xem xét phân kỳ Kullback-Leibler của hai mật độ:

0 \leq D_{K L} (g | | f) = \int g (x) \ln (\frac{g (x)}{f (x)}) d x = \int g (x) \ln g (x) d x - \int g (x) \ln f (x) d x [2]

$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$

Tích phân đầu tiên là âm của entropy (vi phân) của , biểu thị nó . Tích phân thứ hai là (viết rõ ràng là Laplacian pdf) $g$ $-h(g)$

\int g (x) \ln [f (x)] d x = \int g (x) \ln [\frac{1}{2 c_{2}} \exp {- \frac{1}{c_{2}} | x - c_{1} |}] d x

$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$

= \ln [\frac{1}{2 c_{2}}] \int g (x) d x - \frac{1}{c_{2}} \int g (x) | x - c_{1} | d x

$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$ Tích phân đầu tiên tích hợp vào sự thống nhất và sử dụng cả eq. chúng tôi có được

[1]

$[1]$

\int g (x) \ln [f (x)] d x = - \ln [2 c_{2}] - \frac{1}{c_{2}} \int f (x) | x - c_{1} | d x = - (\ln [2 c_{2}] + 1)

$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$ Nhưng đây là phủ định của entropy vi sai của Laplacian, biểu thị nó .

- h (f)

$-h(f)$

Chèn các kết quả này vào eq. chúng ta có Vì là tùy ý, điều này chứng tỏ rằng trên mật độ Laplacian là entropy tối đa trong số tất cả các phân phối với các đơn thuốc ở trên. $[2]$

0 \leq D (g | | f) = - h (g) - (- h (f)) \Rightarrow h (g) \leq h (f)

$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$

g

$g$

— Alecos Papadopoulos
nguồn

Một phân phối đơn giản như vậy, và một bài viết tốt đẹp quá! Tôi nghi ngờ việc phân phối sẽ diễn ra suôn sẻ trừ 0

— Dietrich Epp

Cảm ơn. Đôi khi "cùng đi với cùng" - kể từ khi phân phối Laplace liên quan đến giá trị tuyệt đối, đó là một nghi ngờ chính.

— Alecos Papadopoulos