Entropy vi sai

Entropy khác biệt của Gaussian RV là . Điều này phụ thuộc vào, là độ lệch chuẩn. $\log_2(\sigma \sqrt{2\pi e})$ $\sigma$

Nếu chúng ta bình thường hóa biến ngẫu nhiên để nó có phương sai đơn vị giảm entropy của nó. Đối với tôi điều này là phản trực giác bởi vì độ phức tạp của hằng số chuẩn hóa Kolmogorov rất nhỏ so với việc giảm entropy. Người ta có thể chỉ cần nghĩ ra một bộ giải mã mã hóa chia / bội với hằng số chuẩn hóa để phục hồi bất kỳ tập dữ liệu nào được tạo bởi biến ngẫu nhiên này.

Có lẽ sự hiểu biết của tôi là tắt. Bạn có thể vui lòng chỉ ra lỗ hổng của tôi?

information-theory entropy randomness

— Cagdas Ozgenc
nguồn

Tôi sẽ giải quyết vấn đề này, mặc dù nó ở trên đầu tôi một chút, vì vậy hãy xử lý bằng cách rắc muối ...

Bạn không chính xác sai. Tôi nghĩ rằng thí nghiệm suy nghĩ của bạn rơi xuống là entropy khác biệt không phải là trường hợp giới hạn của entropy. Tôi đoán rằng vì điều này, sự tương đồng giữa nó và sự phức tạp Kolmogorov bị mất.

Giả sử chúng ta có một biến ngẫu nhiên rời rạc . Chúng ta có thể tính toán entropy Shannon của nó như sau bằng cách tính tổng tất cả các giá trị có thể của nó , $X$ $x_i$

H (X) = = - \underset{Tôi}{Σ} P (X = = x_{Tôi}) đăng nhập (P (X = = x_{Tôi})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

Cho đến nay thật nhàm chán. Bây giờ hãy nói rằng là một phiên bản lượng tử của một biến ngẫu nhiên liên tục - giả sử, chúng ta có hàm mật độ tạo ra các mẫu từ tập hợp các số thực và chúng ta biến nó thành biểu đồ. Chúng ta sẽ có một biểu đồ đủ tốt để hàm mật độ về cơ bản là tuyến tính. Trong trường hợp đó chúng ta sẽ có một cái gì đó entropy như thế này, $X$ $p()$ trong đólà chiều rộng của các ô biểu đồ của chúng tôi vàlà trung điểm của mỗithùng. Chúng tôi có một sản phẩm bên trong logarit đó - hãy tách nó ra và sử dụng thuộc tính của phân phối xác suất tổng hợp thành 1 để di chuyển nó ra ngoài tổng, cho chúng tôi

H (X) \approx - \underset{Tôi}{Σ} p (X = = x_{Tôi}) δ x đăng nhập (p (X = = x_{Tôi}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$

H (X) \approx - đăng nhập (δ x) - \underset{Tôi}{Σ} p (X = = x_{Tôi}) δ x đăng nhập (p (X = = x_{Tôi})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

$\delta x \rightarrow dx$

H (X) = = - đăng nhập (d x) - \int_{x} p (X = = x) đăng nhập (p (X = = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

$\log \big( dx \big)$

$\sigma$

$\delta$

\int_{x} p (X = = x) đăng nhập (\frac{p (X = = x)}{q (X = = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— Pat
nguồn

Cảm ơn. Thật là thú vị. Tôi không biết có một mánh lới quảng cáo như vậy trong lý thuyết.

— Cagdas Ozgenc

ký ký hiệu

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

\log (d x)

$\log(d x)$

@Cagdas - Tôi không biết nếu tôi gọi nó là mánh lới quảng cáo. Nó chỉ đo một thứ khác. Và như hồng y chỉ ra, nó có một số công dụng. Còn về việc nó có bị hỏng khi áp dụng cho phân phối nhị thức hay không, tùy thuộc vào cách bạn sẽ áp dụng nó :). Có lẽ đáng để bắt đầu một chủ đề mới nếu bạn không chắc chắn.

— Pat

Tôi nghĩ rằng entropy rõ ràng khác với độ phức tạp Kolmogorov khi người ta xem xét các bộ tạo số giả ngẫu nhiên.

— James Bowery