Ai đặt ra thuật ngữ entropy entropy theo kinh nghiệm?

Tôi biết về công việc của Shannon với entropy, nhưng gần đây tôi đã làm việc trên các cấu trúc dữ liệu cô đọng trong đó entropy theo kinh nghiệm thường được sử dụng như một phần của phân tích lưu trữ.

Shannon đã xác định entropy của thông tin được tạo bởi một nguồn thông tin rời rạc là , trong đó là xác suất của sự kiện xảy ra, ví dụ như một ký tự cụ thể được tạo và có sự kiện có thể. p i i $-\sum_{i=1}^k p_i \log{p_i}$$p_i$$i$$k$

Như MCH đã chỉ ra trong các bình luận, entropy theo kinh nghiệm là entropy của phân phối theo kinh nghiệm của các sự kiện này và do đó được đưa ra bởi trong đó là số lần xuất hiện quan sát của sự kiện và là tổng số sự kiện được quan sát. Điều này được gọi là entropy thứ tự không thứ tự . Khái niệm entropy có điều kiện của Shannon có phiên bản thực nghiệm bậc cao tương tự . nii$-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$$n_{i}$$i$$n$

Shannon đã không sử dụng thuật ngữ entropy theo kinh nghiệm, mặc dù ông chắc chắn xứng đáng với một số tín dụng cho khái niệm này. Ai là người đầu tiên sử dụng ý tưởng này và ai là người đầu tiên sử dụng tên entropy theo kinh nghiệm (rất logic) để mô tả nó?

Tôi quan tâm đến "entropy theo kinh nghiệm" như bạn và bài báo sớm nhất tôi tìm thấy là từ Kosaraju như người dùng "Marzio De Biasi" đã nói trong bình luận của mình.

Nhưng theo tôi, các định nghĩa thực sự về "entropy theo kinh nghiệm" được đưa ra sau đó bằng cách khái quát các khái niệm trước đây:

1. "Bảng chữ cái lớn và không thể nén được" của Travis Gagie (2008)
2. "Entropy entropy" của Paul MB Vitányi (2011)

Gagie viết lại định nghĩa của entropy theo thứ tự thứ để: $k$

• $H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

Trong đó là một quá trình Markov thứ . Ông cũng chỉ ra rằng định nghĩa này tương đương với định nghĩa trước đó. Bước tiếp theo từ Vitányi là khái quát hóa các lớp quy trình tùy ý (không chỉ các quy trình Markov):$Q$$k$

• $H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

Trong đó là lớp các quy trình được phép và là độ phức tạp Kolmogorov. Nếu chúng ta chọn là lớp của thứ trật tự Markov các quá trình sản xuất một chuỗi cáccác biến ngẫu nhiên và bỏ qua độ phức tạp Kolmogorov, điều này cũng dẫn đến định nghĩa của Gagie (nhân với ).$\mathcal{X}$$K(X)$
$\mathcal{X}$$k$$|w|$$|w|$