Làm thế nào để entropy phụ thuộc vào vị trí và quy mô?

Các entropy của một phân phối liên tục với hàm mật độ được định nghĩa là tiêu cực của sự mong đợi của và do đó bằng $f$ $\log(f),$

H_{f} = - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x .

$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$

Chúng tôi cũng nói rằng bất kỳ biến ngẫu nhiên có phân phối có mật độ đều có entropy (Tích phân này được xác định rõ ngay cả khi có số không, bởi vì có thể được lấy bằng 0 tại các giá trị đó.) $X$ $f$ $H_f.$ $f$ $\log(f(x))f(x)$

Khi và là các biến ngẫu nhiên mà ( là một hằng số), được cho là một phiên bản của chuyển bởi Tương tự như vậy, khi ( là hằng số dương), được cho là một phiên bản của thu nhỏ lại bởi Kết hợp một quy mô với một sự thay đổi mang đến cho $X$ $Y$ $Y = X+\mu$ $\mu$ $Y$ $X$ $\mu.$ $Y = X\sigma$ $\sigma$ $Y$ $X$ $\sigma.$ $Y=X\sigma + \mu.$

Những mối quan hệ này xảy ra thường xuyên. Ví dụ, thay đổi đơn vị đo của $X$ dịch chuyển và chia tỷ lệ.

Làm thế nào là entropy của $Y = X\sigma + \mu$ liên quan đến của $X?$

distributions data-transformation entropy

— whuber
nguồn

Kể từ khi các yếu tố xác suất $X$ là $f(x)\mathrm{d}x,$ sự thay đổi của biến $y = x\sigma + \mu$ là tương đương với $x = (y-\mu)/\sigma,$ từ đâu từ

f (x) d x = f (\frac{y - μ}{σ}) d (\frac{y - μ}{σ}) = \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

theo sau đó mật độ của $Y$ là

f_{Y} (y) = \frac{1}{σ} f (\frac{y - μ}{σ}) .

$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$

Do đó, entropy của $Y$ là

H (Y) = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (\frac{y - μ}{σ})) \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

mà khi thay đổi biến trở lại $x = (y-\mu)/\sigma,$ sản xuất

\begin{aligned} H (Y) & = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (x)) f (x) d x \\ = - \int_{- \infty}^{\infty} (\log (\frac{1}{σ}) + \log (f (x))) f (x) d x \\ = \log (σ) \int_{- \infty}^{\infty} f (x) d x - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x \\ = \log (σ) + H_{f} . \end{aligned}

$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$

Các tính toán này đã sử dụng các thuộc tính cơ bản của logarit, tính tuyến tính của tích hợp và thực tế là $f(x)\mathrm{d}x$ tích hợp với sự thống nhất (Định luật xác suất tổng).

Kết luận là

Entropy của $Y = X\sigma + \mu$ là entropy của $X$ cộng $\log(\sigma).$

Nói cách, thay đổi một biến ngẫu nhiên không làm thay đổi entropy của nó (chúng ta có thể nghĩ về entropy như tùy thuộc vào giá trị của mật độ xác suất, nhưng không phải vào nơi những giá trị đó xảy ra), trong khi mở rộng quy mô một biến (trong đó, cho $\sigma \ge 1$ " kéo dài "hoặc" bôi "nó ra) làm tăng entropy của nó bằng $\log(\sigma).$ Điều này hỗ trợ trực giác rằng các phân phối entropy cao "lan rộng" hơn so với các phân phối entropy thấp.

$\mu$ $\sigma$ $(\mu,\sigma)$ $\mu=0$ $\sigma=1.$

\log (f (x)) = - \frac{1}{2} \log (2 π) - x^{2} / 2,

$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$

từ đâu

H = - E [- \frac{1}{2} \log (2 π) - X^{2} / 2] = \frac{1}{2} \log (2 π) + \frac{1}{2} .

$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$

$(\mu,\sigma)$ $\log\sigma$

H = \frac{1}{2} \log (2 π) + \frac{1}{2} + \log (σ) = \frac{1}{2} \log (2 π e σ^{2})

$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$

như báo cáo của Wikipedia .

— whuber
nguồn