Entropy theo kinh nghiệm là gì?

Trong định nghĩa của các tập hợp điển hình chung (trong "Các yếu tố của lý thuyết thông tin", ch. 7.6, trang 195), chúng tôi sử dụng

np(xn)=∏ n i = 1 p(xi

$$-\frac{1}{n} \log{p(x^n)}$$ là entropy theo kinh nghiệm của một hệ quả với . Tôi chưa bao giờ đi qua thuật ngữ này trước đây. Nó không được định nghĩa rõ ràng ở bất cứ đâu theo chỉ số của cuốn sách.$n$$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

Câu hỏi của tôi về cơ bản là: Tại sao entropy theo kinh nghiệm không trong đó là phân phối theo kinh nghiệm?p ( x $-\sum_{x}{\hat p (x) \log(\hat p(x))}$$\hat p(x)$

Sự khác biệt và điểm tương đồng thú vị nhất giữa hai công thức này là gì? (về mặt tài sản họ chia sẻ / không chia sẻ).

Nếu dữ liệu là , nghĩa là, hậu quả từ không gian mẫu , xác suất điểm thực nghiệm là cho . Ở đây là một nếu và khác 0. Nghĩa là, là tần số tương đối của trong chuỗi được quan sát. Các entropy của phân bố xác suất được đưa ra bởi xác suất điểm thực nghiệm là n X p ( x ) = $x^n = x_1 \ldots x_n$$n$$\mathcal{X}$x∈Xδx(xi)xi=x p (x)xH( p )=-Σx∈ X p (x)log p (x)=-∑x∈ X

$$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$$ $x \in \mathcal{X}$$\delta_x(x_i)$$x_i = x$$\hat{p}(x)$$x$Σx∈ X δx(xi)log p (x)=log p (xi). H( p )=- $$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$$ Nhận dạng sau theo sau bằng cách hoán đổi hai khoản tiền và lưu ý rằng Từ đó, chúng ta thấy rằng với và sử dụng thuật ngữ từ câu hỏi này là entropy theo kinh nghiệm của phân phối xác suất theo kinh nghiệm . Như được chỉ ra bởi @cardinal trong một nhận xét, $$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$$ p (xn)=Π n i = 1 p (xi)- $$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$$ $\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$$- \frac{1}{n} \log p(x^n)$là entropy theo kinh nghiệm của một phân phối xác suất nhất định với xác suất điểm .$p$

Entropy được xác định cho phân phối xác suất. Khi bạn không có, nhưng chỉ có dữ liệu và cắm vào một công cụ ước tính ngây thơ về phân phối xác suất, bạn sẽ có được entropy theo kinh nghiệm. Điều này là dễ nhất cho các phân phối rời rạc (đa phương thức), như thể hiện trong câu trả lời khác, nhưng cũng có thể được thực hiện cho các phân phối khác bằng cách đóng gói, v.v.

Một vấn đề với entropy theo kinh nghiệm là nó bị sai lệch cho các mẫu nhỏ. Ước tính ngây thơ của phân phối xác suất cho thấy sự thay đổi thêm do nhiễu mẫu. Tất nhiên người ta có thể sử dụng một công cụ ước tính tốt hơn, ví dụ, một ưu tiên phù hợp trước cho các tham số đa phương thức, nhưng để nó thực sự không thiên vị là không dễ dàng.

Những điều trên cũng áp dụng cho các bản phân phối có điều kiện. Ngoài ra, mọi thứ đều liên quan đến binning (hoặc kernelization), vì vậy bạn thực sự có một loại entropy khác biệt.