Giới thiệu tốt về các loại entropy khác nhau

18

Tôi đang tìm kiếm một cuốn sách hoặc tài nguyên trực tuyến giải thích các loại entropy khác nhau, chẳng hạn như Entropy mẫu và Entropy Shannon, những ưu điểm và nhược điểm của chúng. Ai đó có thể chỉ cho tôi đi đúng hướng?

references entropy

— Cơ đốc giáo
nguồn

9

Cuốn sách Các yếu tố lý thuyết thông tin của Cover và Thomas là một nguồn tốt về entropy và các ứng dụng của nó, mặc dù tôi không biết rằng nó giải quyết chính xác các vấn đề bạn có trong đầu.

— Đánh dấu
nguồn

4

Ngoài ra, bài báo "Bất bình đẳng lý thuyết thông tin" của Dembo Cover và Thomas cho thấy rất nhiều khía cạnh sâu sắc

— cướp girard

1

Tuy nhiên, không ai trong số những cuốn sách đó tuyên bố rằng có nhiều hơn một entropy.

5

Những bài giảng này về lý thuyết thông tin của O. Johnson chứa một phần giới thiệu tốt về các loại entropy khác nhau.

— Alekk
nguồn

4

Nếu bạn quan tâm đến thống kê toán học xung quanh entropy, bạn có thể tham khảo cuốn sách này

http://www.renyi.hu/~csiszar/Publications/In information_Theory_and_Statistic:_A_Tutorial.pdf

nó là miễn phí có sẵn!

— cướp girard
nguồn

2

Entropy chỉ là một (như một khái niệm) - lượng thông tin cần thiết để mô tả một số hệ thống; chỉ có nhiều khái quát của nó. Entropy mẫu chỉ là một số mô tả giống như entropy được sử dụng trong phân tích nhịp tim.

Tuy nhiên, tôi biết điều đó không giúp tôi quyết định liệu sử dụng entropy mẫu hoặc entropy shannon hoặc một số loại entropy khác phù hợp với dữ liệu mà tôi đang làm việc.

— Christian

2

Những gì tôi đã viết trong bài viết của mình chỉ là đối với một loại dữ liệu / quy trình / hệ thống nhất định, chỉ có một định nghĩa entropy thực sự . Entropy mẫu không phải là một biện pháp entropy, nó chỉ là một số thống kê với một cái tên khó hiểu. Đặt câu hỏi trong đó bạn xác định dữ liệu mà bạn muốn tính toán entropy và sẽ nhận được công thức.

Tôi không quan tâm đến sự thật nhưng trong việc có được một chức năng hoạt động. Tôi là một nhà sinh học và được dạy không tìm kiếm sự thật giáo điều mà tìm kiếm số liệu thống kê có hiệu quả. Tôi không nghĩ rằng có công việc được thực hiện với loại dữ liệu mà tôi muốn làm việc với chi tiết cụ thể đó là gì entropy hoạt động tốt nhất. Đó là lý do tại sao tôi muốn làm việc với dữ liệu.

— Christian

2

Phải, nhưng đây không phải là một cuộc thảo luận về sự thật giáo điều mà là về lời nói. Bạn đã hỏi về entropy, vì vậy tôi đã trả lời về entropy. Bởi vì bây giờ tôi thấy rằng bạn thực sự cần một câu trả lời về các mô tả chuỗi thời gian, viết một câu hỏi về các mô tả chuỗi thời gian, chỉ sau đó bạn sẽ nhận được một câu trả lời hữu ích.

2

Jaynes cho thấy làm thế nào để lấy được entropy của Shannon từ các nguyên tắc cơ bản trong cuốn sách của mình .

$n!$ $n^n$

\frac{1}{n} \log \frac{n!}{(n p_{1})! \dots (n p_{d})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

— Ba Tư
nguồn

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

Lý thuyết trò chơi trên giấy của Grünwald và Dawid , entropy tối đa, chênh lệch tối thiểu và lý thuyết quyết định Bayes mạnh mẽ thảo luận về khái quát của khái niệm truyền thống về entropy. Với một tổn thất, hàm entropy liên quan của nó là ánh xạ từ phân phối đến tổn thất dự kiến có thể đạt được tối thiểu cho phân phối đó. Hàm entropy thông thường là entropy tổng quát liên quan đến mất log. Các lựa chọn tổn thất khác mang lại entropy khác nhau, chẳng hạn như entropy Rényi.

— Đánh dấu Reid
nguồn

1

Vậy thì, sigma là entropy của N (0, sigma) tương ứng với sai số bình phương và min (p, 1-p) là entropy của Bernoulli (p) tương ứng với 0,1 mất dự đoán? Có vẻ như khá khái quát!

— Yaroslav Bulatov

Đúng. Entropy cho tổn thất vuông là không đổi và entropy cho tổn thất 0-1 là min (p, 1-p). Điều thú vị nữa là chúng cũng có sự tương ứng mạnh mẽ với sự khác biệt. Mất vuông cho phân kỳ Hellinger và mất 0-1 cho phân kỳ biến thiên. Vì các entropies được định nghĩa như thế này, chúng nhất thiết phải là các hàm lõm và hóa ra phân kỳ f được xây dựng bằng f (p) = -entropy (p). Bob Williamson và tôi đã khám phá một số điều này trong bài báo của chúng tôi: arxiv.org/abs/0901.0356 . Đó là công cụ thú vị.

— Đánh dấu Reid

1

Đây là một điều thú vị mà tôi đã tìm thấy về sự khác biệt gần đây - mỗi bước của Tuyên truyền niềm tin có thể được xem như là một Dự đoán Bregman ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— Yaroslav Bulatov