Làm thế nào để thực tế đo entropy của một tập tin?

Tôi đang cố gắng đo lường nhiều thông tin không thực tế (thực tế) mà tập tin của tôi chứa. Một số người gọi đây là lượng entropy.

Tất nhiên có nhật ký p (x) {p (x)} tiêu chuẩn, nhưng tôi nghĩ rằng Shannon chỉ xem xét nó từ quan điểm truyền qua một kênh. Do đó công thức yêu cầu kích thước khối (nói theo bit, 8 thường). Đối với một tệp lớn, phép tính này khá vô dụng, bỏ qua các mối tương quan khoảng cách ngắn đến dài giữa các ký hiệu.

Có các phương pháp cây nhị phân và Ziv-Lempel, nhưng chúng có vẻ mang tính học thuật cao.

Độ nén cũng được coi là thước đo của entropy, nhưng dường như không có giới hạn nào thấp hơn về mức độ nén. Đối với tập tin của tôi hiss.wav,

• hiss.wav gốc = 5,2 MB
• entropy thông qua công thức Shannon = 4,6 MB
• hiss.zip = 4,6 MB
• rít.7z = 4.2 MB
• hiss.wav.fp8 = 3,3 MB

Có một số phương pháp hợp lý có thể thực hiện để đo bao nhiêu entropy tồn tại trong hiss.wav?

Entropy là một tính năng của một biến ngẫu nhiên . Một tập tin nhất định có entropy bằng không, vì nó là hằng số. Entropy có ý nghĩa trong nhiều tình huống trong đó không có kênh và bạn có thể áp dụng nó cho một tập hợp ngẫu nhiên, giả sử, các tệp WAV, được tạo từ một nguồn nhất định. Trong trường hợp này, của bạn là toàn bộ tệp WAV.$x$

Tệp WAV thực tế (không bao gồm tiêu đề) có thể được coi là được tạo bởi một số nguồn Markovian. Nguồn này tạo ra các biên độ âm thanh ("mẫu") theo một chuỗi, mỗi cái tùy thuộc vào những cái trước nó. Sau khi chạy quá trình rất lâu, entropy của từng mẫu (chính xác hơn là entropy có điều kiện cho các mẫu trước) rất gần với một số giá trị giới hạn, mà chúng tôi xác định là entropy của nguồn. Entropy của mẫu là lần số đó (trong giới hạn; một lần nữa, chính xác hơn, chúng tôi đang đo entropy có điều kiện). Lempel và Ziv đã chỉ ra rằng nếu entropy mẫu là các bit , thì thuật toán của họ nén mẫu thành$N$$N$$H$$N$$HN + o(N)$bit, với xác suất cao (xác suất vượt qua các mẫu). Nén LempelTHER Ziv khá phổ biến trong thực tế, được sử dụng ví dụ trong gzipđịnh dạng phổ biến .

Do kết quả này của Lempel và Ziv, entropy của một nguồn có thể được xấp xỉ bằng cách nén một chuỗi dài các mẫu bằng thuật toán Lempel kèm Ziv. Điều này không ước tính entropy của các mẫu cụ thể, không phải là một khái niệm được xác định rõ (một chuỗi không đổi có entropy bằng 0), mà là entropy của nguồn tạo ra nó.

Một khái niệm liên quan là entropy thuật toán , còn được gọi là độ phức tạp Kolmogorov . Đây là độ dài của chương trình ngắn nhất tạo tệp của bạn. Số lượng này có ý nghĩa cho một tập tin cá nhân. Trong trường hợp một tệp được tạo bởi một nguồn ngẫu nhiên, định lý Zemp của Lempel cho thấy rằng entropy thuật toán của một tệp bị giới hạn, với xác suất cao, bởi entropy Shannon của nó. Thật không may, entropy thuật toán không thể tính toán được, vì vậy nó giống như một khái niệm lý thuyết.

Để hoàn thành bức tranh, tôi khuyên bạn nên đọc bài viết của Shannon về Dự đoán và entropy của tiếng Anh in cho một cách tiếp cận khác để ước tính entropy của một nguồn.