Có sử dụng cho số lượng

\int f (x)^{2} d x

$\int f(x)^2 dx$ trong thống kê hoặc lý thuyết thông tin không?

probability entropy information-theory

— charles.y.zheng
nguồn

Renyi entropy

— hồng y

là pdf, phải không?

f

$f$

— whuber

Có,

là một mật độ.

f

$f$

— charles.y.zheng

@cardinal Trả lời!

@mbq: Ok, tôi sẽ cố gắng gõ một cái gì đó sau đó xứng đáng với câu trả lời. :)

— hồng y

Để biểu thị một hàm mật độ xác suất (tương ứng với Lebesgue hoặc số đo tương ứng), số lượng $f$ $\newcommand{\rd}{\mathrm{d}}$ được gọi làentropy Renyitrật tự. Đó là một khái quát của entropy Shannon giữ lại nhiều thuộc tính giống nhau. Đối với trường hợp, chúng tôi hiểulàvà điều này tương ứng với entropy Shannon tiêu chuẩn.

H_{α} (f) = - \frac{1}{α - 1} \log (\int f^{α} d μ)

$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$

α \geq 0

$\alpha \geq 0$

α = 1

$\alpha = 1$

H_{1} (f)

$H_1(f)$

lim_{α \to 1} H_{α} (f)

$\lim_{\alpha \to 1} H_{\alpha}(f)$

H (f)

$H(f)$

Renyi giới thiệu điều này trong bài báo của mình

A. Renyi, Về các biện pháp thông tin và entropy , Proc. Symp Berkeley thứ 4. trên Toán., Stat. và Prob. (1960), tr 547 547561.

rất đáng để đọc, không chỉ cho các ý tưởng mà còn cho phong cách trình bày mẫu mực.

Trường hợp là một trong những lựa chọn phổ biến hơn cho và trường hợp đặc biệt này (cũng) thường được gọi là entropy Renyi. Ở đây chúng ta thấy rằng cho một biến ngẫu nhiên được phân phối với mật độ . $\alpha = 2$ $\alpha$

H_{2} (f) = - \log (\int f^{2} d μ) = - \log (E f (X))

$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$

f

$f$

$- \log(x)$

H_{2} (f) = - \log (E f (X)) \leq E (- \log f (X)) = - E \log f (X) = H (f)

$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$ trong đó phía bên tay phải biểu thị entropy Shannon. Do đó, entropy Renyi cung cấp giới hạn thấp hơn cho entropy Shannon và, trong nhiều trường hợp, dễ tính toán hơn.

$X$ $X^\star$ $X = X^\star$

P (X = X^{⋆}) = \sum_{i = 1}^{\infty} P (X = x_{i}, X^{⋆} = x_{i}) = \sum_{i = 1}^{\infty} P (X = x_{i}) P (X^{⋆} = x_{i}) = e^{- H_{2} (f)} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$

$f$ $\Omega = \{x_i: i \in \mathbb{N}\}$

Entropy Renyi (nói chung) rõ ràng cũng liên quan đến năng lượng tự do của một hệ thống ở trạng thái cân bằng nhiệt, mặc dù tôi không cá nhân về điều đó. Một (rất) bài báo gần đây về chủ đề này là

JC Baez, Renyi entropy và năng lượng tự do , arXiv [quant-ph] 1101.2098 (tháng 2 năm 2011).

— hồng y
nguồn

Tôi thực sự đã sử dụng entropy Renyi để thay thế cho entropy Shannon; thật tuyệt khi thấy xác nhận về trực giác của tôi. Cảm ơn bạn đã phản ứng khai sáng.

— charles.y.zheng

- \log x

$-\log x$

Tôi hiểu rồi. Cụ thể, tôi cần tài sản mà phân phối chung entropy tối đa thỏa mãn các biên đã cho là sản phẩm của các lề (những gì bạn sẽ nhận được từ sự độc lập.)

— charles.y.zheng