Tại sao tôi nhận được thông tin entropy lớn hơn 1?

Tôi đã thực hiện các chức năng sau để tính toán entropy:

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p, 2)

    return - my_sum

Kết quả:

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
1.1488348542809168
>>> from scipy.stats import entropy # using a built-in package 
                                    # give the same answer
>>> entropy([1/7.0, 1/7.0, 5/7.0], base=2)
1.1488348542809166

Tôi hiểu rằng entropy nằm trong khoảng từ 0 đến 1, 0 có nghĩa là rất chắc chắn và 1 có nghĩa là rất không chắc chắn. Tại sao tôi có số đo entropy lớn hơn 1?

Tôi biết rằng nếu tôi tăng kích thước của cơ sở nhật ký, số đo entropy sẽ nhỏ hơn, nhưng tôi nghĩ cơ sở 2 là tiêu chuẩn, vì vậy tôi không nghĩ đó là vấn đề.

Tôi phải thiếu một cái gì đó rõ ràng, nhưng những gì?

Entropy là không giống như khả năng .

Entropy đo lường "thông tin" hoặc "độ không đảm bảo" của một biến ngẫu nhiên. Khi bạn đang sử dụng cơ sở 2, nó được đo bằng bit; và có thể có nhiều hơn một bit thông tin trong một biến.

Trong ví dụ này, một mẫu "chứa" khoảng 1,15 bit thông tin. Nói cách khác, nếu bạn có thể nén một loạt các mẫu một cách hoàn hảo, trung bình bạn sẽ cần nhiều bit cho mỗi mẫu.

$\log k$$k$

$\log_2 1$$0$$\log_2 2$$1$$1$$1$$2$$1$$\log_2 k$

$\log k$$0$$1$

$e$

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p)

    return - my_sum

Tặng:

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
0.796311640173813