Hàm mật độ xác suất entropy tối đa cho một biến liên tục dương của trung bình và độ lệch chuẩn đã cho là gì?

13

Là gì phân phối entropy tối đa cho một biến liên tục tích cực, đưa ra những khoảnh khắc đầu tiên và thứ hai của nó?

Ví dụ, phân phối Gaussian là phân phối entropy tối đa cho một biến không giới hạn, với giá trị trung bình và độ lệch chuẩn của nó và phân phối Gamma là phân phối entropy tối đa cho một biến dương, với giá trị trung bình và giá trị trung bình của logarit của nó.

— vẫy
nguồn

13

Người ta có thể chỉ đơn giản sử dụng định lý của Boltzmann trong bài viết trên Wikipedia mà bạn chỉ đến .

Lưu ý rằng việc chỉ định giá trị trung bình và phương sai tương đương với chỉ định hai thời điểm thô đầu tiên - mỗi lần xác định cái kia (thực sự không cần thiết phải gọi điều này, vì chúng ta có thể áp dụng định lý trực tiếp vào giá trị trung bình và phương sai, cách này chỉ đơn giản hơn một chút ).

Định lý sau đó xác định rằng mật độ phải có dạng:

f (x) = = c điểm kinh nghiệm (λ_{1} x + λ_{2} x^{2}) cho tất cả x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

Integrability qua đường thực dương sẽ hạn chế là , và tôi nghĩ rằng nơi một số hạn chế đối với các mối quan hệ giữa s (mà có lẽ sẽ được thỏa mãn tự động khi bắt đầu từ phương sai trung bình và quy định chứ không phải là những khoảnh khắc thô). $\lambda_2$ $\leq 0$ $\lambda$

Thật ngạc nhiên (vì tôi đã không mong đợi nó khi tôi bắt đầu câu trả lời này), điều này dường như để lại cho chúng tôi một phân phối bình thường bị cắt ngắn.

Khi điều đó xảy ra, tôi không nghĩ rằng tôi đã sử dụng định lý này trước đây, vì vậy những lời chỉ trích hoặc đề xuất hữu ích về bất cứ điều gì tôi chưa xem xét hoặc bỏ qua sẽ được hoan nghênh.

— Glen_b -Reinstate Monica
nguồn

+1 Cảm ơn. Có vẻ ổn. Khi tôi đọc bài viết trên Wikipedia, tôi dường như đã bỏ lỡ thực tế là định lý Boltzmann áp dụng cho tất cả các khoảng thời gian đóng. Tôi đã cho rằng nó chỉ áp dụng cho các biến đi từ

đến

.

- \infty

$-\infty$

\infty

$\infty$

— vẫy gọi

Vì một số lý do, thước đo cơ sở thống nhất và kết quả phân phối bình thường bị cắt không hoàn toàn thuyết phục tôi: Như Fred Schoen nhấn mạnh, để tìm ra entropy tối đa (tương đối) trong trường hợp liên tục, chúng ta cần một thước đo cơ sở hoặc phân phối xác suất tham chiếu. Do biến liên tục

trong câu hỏi là dương, nên nó có thể là biến tỷ lệ và thước đo cơ sở tỷ lệ với

sau đó tự đề xuất vì nhiều lý do (ví dụ như bất biến nhóm; xem sách của Jaynes hoặc Jeffreys).

x

$x$

1 / x

$1/x$

— pglpm

Với số đo cơ sở này, phân phối kết quả tỷ lệ với

\frac{1}{x} điểm kinh nghiệm (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

7

Tôi muốn làm cho câu trả lời của @ Glen_b rõ ràng hơn, đây là một câu trả lời bổ sung chỉ vì nó không phù hợp như một nhận xét.

f (x) α N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

$x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ $x_{min} \to -\infty$

$a_1, a_2$ $\lambda_{1,2}$ $\lambda_{1,2}$

Câu hỏi này là một bản sao của /math/598608/what-is-the-maximum-entropy-distribution-for-a-continupt-random-variable-on-0

— Fred Schoen
nguồn