Vai trò của logarit trong entropy của Shannon là gì?

Entropy của Shannon là âm của tổng xác suất của mỗi kết quả nhân với logarit của xác suất cho mỗi kết quả. Mục đích nào của logarit phục vụ trong phương trình này?

Một câu trả lời trực quan hoặc trực quan (trái ngược với câu trả lời toán học sâu sắc) sẽ được cho điểm thưởng!

Shannon entropy là một đại lượng thỏa mãn một tập hợp các mối quan hệ.

Nói tóm lại, logarit là làm cho nó phát triển tuyến tính với kích thước hệ thống và "hành xử như thông tin".

Điều đầu tiên có nghĩa là entropy của việc tung đồng xu $n$ lần là $n$ lần entropy của việc tung đồng xu:

$$- \sum_{i=1}^{2^n} \frac{1}{2^n} \log\left(\tfrac{1}{2^n}\right) = - \sum_{i=1}^{2^n} \frac{1}{2^n} n \log\left(\tfrac{1}{2}\right) = n \left( - \sum_{i=1}^{2} \frac{1}{2} \log\left(\tfrac{1}{2}\right) \right) = n.$$

Hoặc chỉ để xem làm thế nào nó hoạt động khi tung hai đồng tiền khác nhau (có lẽ không công bằng - với người đứng đầu với xác suất $p_1$ và đuôi $p_2$ cho đồng tiền đầu tiên, và $q_1$ và $q_2$ cho phần thứ hai)

$$-\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(p_i q_j) = -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \left( \log(p_i) + \log(q_j) \right)$$ $$= -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(p_i) -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(q_j) = -\sum_{i=1}^2 p_i \log(p_i) - \sum_{j=1}^2 q_j \log(q_j)$$ vì vậy các thuộc tính củalogarit(logarit của sản phẩm là tổng của logarit) là rất quan trọng.

Nhưng entropy Rényi cũng có tính chất này (nó được entropy tham số hóa bởi một số thực $\alpha$ , trở thành entropy Shannon cho $\alpha \to 1$ ).

Tuy nhiên, ở đây có tài sản thứ hai - entropy Shannon là đặc biệt, vì nó liên quan đến thông tin. Để có được cảm giác trực quan, bạn có thể nhìn vào

$$H = \sum_i p_i \log \left(\tfrac{1}{p_i} \right)$$ là trung bình của$\log(1/p)$.

Chúng tôi có thể gọi thông tin $\log(1/p)$ . Tại sao? Bởi vì nếu tất cả các sự kiện xảy ra với xác suất $p$ , điều đó có nghĩa là có $1/p$ sự kiện. Để biết sự kiện nào đã xảy ra, chúng ta cần sử dụng các bit $\log(1/p)$ (mỗi bit nhân đôi số lượng sự kiện chúng ta có thể phân biệt).

Bạn có thể cảm thấy lo lắng "OK, nếu tất cả các sự kiện có cùng xác suất thì việc sử dụng $\log(1/p)$ làm thước đo thông tin là điều hợp lý. Nhưng nếu chúng không như vậy, tại sao thông tin trung bình lại có ý nghĩa?" - và đó là một mối quan tâm tự nhiên.

Nhưng nó chỉ ra rằng nó có ý nghĩa - nguồn Shannon của mã hóa định lý nói rằng một chuỗi với chữ uncorrelted với xác suất $\{p_i\}_i$ có độ dài $n$ không có thể được nén (trung bình) để chuỗi nhị phân ngắn hơn $n H$ . Và trên thực tế, chúng ta có thể sử dụng Huffman mã hóa để nén các chuỗi và nhận được rất gần với $n H$ .

Xem thêm:

• Một lời giới thiệu hay là mục nhập lý thuyết thông tin của Cosma Shalizi
• Entropy là gì, thực sự? - Luồng toán học
• Phân tích định dạng GZIP

Điều này cũng giống như các câu trả lời khác, nhưng tôi nghĩ cách tốt nhất để giải thích là xem Shannon nói gì trong bài báo gốc của mình.

Các biện pháp logarit thuận tiện hơn vì nhiều lý do:

1. Nó thực tế hữu ích hơn. Các thông số về tầm quan trọng kỹ thuật như thời gian, băng thông, số lượng rơle, v.v., có xu hướng thay đổi tuyến tính với logarit của số khả năng. Ví dụ, thêm một rơle vào một nhóm sẽ nhân đôi số trạng thái có thể có của rơle. Nó thêm 1 vào logarit cơ sở 2 của số này. Nhân đôi thời gian bình phương số lượng tin nhắn có thể, hoặc nhân đôi logarit, v.v.
2. Nó gần với cảm giác trực quan của chúng ta về các biện pháp thích hợp. Điều này liên quan chặt chẽ với (1) vì chúng tôi đo lường trực quan các thực thể bằng cách so sánh tuyến tính với các tiêu chuẩn chung. Chẳng hạn, người ta cảm thấy rằng hai thẻ đục lỗ nên có dung lượng gấp đôi một để lưu trữ thông tin và hai kênh giống nhau gấp đôi dung lượng của một để truyền thông tin.
3. Nó phù hợp hơn về mặt toán học. Nhiều thao tác giới hạn rất đơn giản về mặt logarit nhưng sẽ đòi hỏi sự phục hồi vụng về về số lượng khả năng

Nguồn: Shannon, Một lý thuyết toán học về truyền thông (1948) [ pdf ].

---

$\Omega$$\log \Omega$$\Omega$$\Omega$$\log \Omega$

$x$$1 \leq x \leq N$$x$$O(\log_2N)$$x$$N=8$$x$.

$x$$1 \leq x \leq N$$p(x) = 1/N$$1 \leq x \leq N$$x$

$$\begin{equation} h(x) = \log_2 \frac{1}{p(x)} \end{equation}$$

$x=4$$h(4) = 3$$x$$4$$x=4$

$x$$x$$h(x)$$x$

$$\begin{equation} \langle h(x) \rangle = \sum_{1 \leq x \leq N} p(x) h(x) \end{equation}$$

$\langle h(x) \rangle$$H(X)$$H(X)$

Đây là một lời giải thích ngoài lề. Bạn có thể nói 2 cuốn sách có cùng kích thước có gấp đôi thông tin so với 1 cuốn sách, phải không? (Coi một cuốn sách là một chuỗi bit.) Chà, nếu một kết quả nhất định có xác suất P, thì bạn có thể nói nội dung thông tin của nó là về số bit bạn cần viết ra 1 / P. (ví dụ: nếu P = 1/256, đó là 8 bit.) Entropy chỉ là trung bình của độ dài bit thông tin đó, trên tất cả các kết quả.

$\log(p_i)$$\log(p_i)$$H(p_1, \ldots ,p_N)$

Shannon cung cấp một bằng chứng toán học về kết quả này đã được chọn lọc kỹ lưỡng và được chấp nhận rộng rãi. Do đó, mục đích và ý nghĩa của logarit trong phương trình entropy là khép kín trong các giả định và bằng chứng.

Điều này không làm cho nó dễ hiểu, nhưng cuối cùng nó là lý do tại sao logarit xuất hiện.

Tôi đã tìm thấy các tài liệu tham khảo sau hữu ích ngoài những tài liệu được liệt kê ở nơi khác:

1. Lý thuyết xác suất: Logic của khoa học của ET Jaynes . Jaynes là một trong số ít tác giả có được nhiều kết quả từ đầu; xem Chương 11.
2. Lý thuyết thông tin, suy luận và thuật toán học tập của David MacKay. Chứa một phân tích chuyên sâu về định lý mã hóa nguồn của Shannon; xem Chương 4.

Tóm lược:

$n$$n$

Thí dụ:

$6$$6$$1$$n=2$$1$

$3.5$$6/2=3$

$1$

Làm thôi nào:

• $6$$> 3.5$
• $6/2=3$$\ge 5$
• $6/2/2=1.5$$= 6$

$6$$3$$ceil(\log_2(6)) = ceil(2.58) = 3$

$ceil$

$2.58$

$\log_2(...)$$n$$n$$2$$\log_n(...)$

Mô phỏng:

import random

total_questions = 0
TOTAL_ROUNDS = 10000

for i in range(0,TOTAL_ROUNDS):
    outcome = random.randrange(1,7)
    total_questions += 1
    if outcome > 3.5:
        total_questions += 1
        if outcome >= 5:
            total_questions += 1
            if outcome == 5:
                pass
            else:
                # must be 6! no need to ask
                pass
        else:
            # must be 4! no need to ask
            pass
    else:
        total_questions += 1
        if outcome >= 2:
            total_questions += 1
            if outcome == 2:
                pass
            else:
                # must be 3! no need to ask
                pass
        else:
            # must be 1! no need to ask
            pass


print 'total questions: ' + str(total_questions)
print 'average questions per outcome: ' + str(total_questions/float(TOTAL_ROUNDS))

Các kết quả:

total questions: 26634
average questions per outcome: 2.6634

$2.6634 \ne \log_2(6) \ne 2.58$

Chuyện gì vậy? Nó gần như gần, nhưng không thực sự gần như tôi hy vọng. Có phải PRNG của Python đang cố nói một trò đùa chậm? Hay là Shannon đã sai? Hay là -God cấm- sự hiểu biết của tôi là sai? Dù bằng cách nào GIÚP. SOS đã là anh chàng.

$\Omega = \{\omega_1, \dotsc, \omega_n\}$$p_1, \dotsc, p_n$$H(p_1, \dotsc, p_n)$

• $H$
• $H$$n$$p_1 = \dots = p_n = \frac1n$
• $H$ $$\begin{align} H\left(\frac12, \frac16, \frac13\right) &= H\left(\frac12, \frac12\right) + \frac12 H\left(\frac13, \frac23\right). \end{align}$$

$H$

$$\begin{align} H(p_1, \dotsc, p_n) &= -\sum_{i=1}^np_i\log_kp_i \end{align}$$ $k>1$$k=2$

Câu hỏi này đã được đưa ra hai năm trước và đã có nhiều câu trả lời tuyệt vời, nhưng tôi muốn thêm câu hỏi của mình đã giúp tôi rất nhiều.

Câu hỏi là

Mục đích nào của logarit phục vụ trong phương trình này?

Logarit (thường dựa trên 2) là do bất đẳng thức của Kraft .

$\sum_{i=1}^m 2^{-l_i} <= 1$

$l_i$$L_x$$P(x)$

$P(x) = 2^{-L(x)}$

$L_{(x)} = -logP(x)$$P(x)$$L_{(x)}$

$L_{(x)}$$P(x)$$-P(x)logP(x)$

Một minh họa trực quan và một câu trả lời trực quan (như bạn yêu cầu, nhưng cụ thể hơn là cho Bất đẳng thức của Kraft) được nêu rõ trong Cây mã giấy này và Bất bình đẳng của Kraft .

Dựa trên sự không chấp nhận của bạn đối với bất kỳ câu trả lời nào, tôi nghĩ rằng những gì bạn đang tìm kiếm là lý do tại sao Shannon sử dụng logarit trong công thức của mình ở nơi đầu tiên. Nói cách khác, triết lý của nó.

_{Tuyên bố miễn trừ trách nhiệm : Tôi mới tham gia lĩnh vực này trong một tuần, đến đây vì có câu hỏi giống như bạn . Nếu bạn có thêm kiến ​​thức về điều này, xin vui lòng cho tôi biết.}

Tôi có câu hỏi này sau khi đọc một trong những bài báo quan trọng nhất của Ulanowicz, Tăng Entropy: Cái chết nhiệt hay hòa âm vĩnh viễn? . Đây là đoạn giải thích tại sao công thức có -log (p) thay vì (1-p):

Trước khi tiếp tục giải nén định nghĩa chính thức của entropy, người ta sẽ có lý khi hỏi tại sao không chỉ đơn giản chọn (1 - p) thay vì [mộclog (p)] làm thước đo thích hợp nhất cho sự không tồn tại? Câu trả lời là sản phẩm kết quả có p (nghĩa là [p p p ^ 2]) hoàn toàn đối xứng xung quanh giá trị p = 0,5. Các tính toán theo sự kết hợp đối xứng như vậy sẽ chỉ có thể mô tả một vũ trụ có thể đảo ngược. Boltzmann và Gibbs, tuy nhiên, đang tìm cách định lượng một vũ trụ không thể đảo ngược. Bằng cách chọn hàm logarit lồi đơn biến, Boltzmann do đó đã tạo ra sự thiên vị cho việc không tồn tại. Ví dụ, một thông báo rằng max [HPxlog {x}] = {1 / e} 0,37, do đó, số đo không xác định bị lệch về các giá trị thấp hơn của pi.

Có vẻ như Shannon đã chọn logarit mà không có lý do. Anh ta chỉ "bôi nhọ" rằng anh ta nên sử dụng logarit. Tại sao Newton chọn phép toán nhân trong công thức F = m * a của mình?

Lưu ý rằng tại thời điểm đó, anh ta không biết gì về entropy :

Mối quan tâm lớn nhất của tôi là những gì để gọi nó. Tôi đã nghĩ đến việc gọi nó là "thông tin", nhưng từ này được sử dụng quá mức, vì vậy tôi quyết định gọi nó là "sự không chắc chắn". Khi tôi thảo luận với John von Neumann, anh ấy có một ý tưởng tốt hơn. Von Neumann nói với tôi, 'Bạn nên gọi nó là entropy, vì hai lý do. Ở nơi đầu tiên, hàm không chắc chắn của bạn đã được sử dụng trong cơ học thống kê dưới tên đó, vì vậy nó đã có tên. Ở vị trí thứ hai, và quan trọng hơn, không ai biết entropy thực sự là gì, vì vậy trong một cuộc tranh luận, bạn sẽ luôn có lợi thế.

Vì vậy, câu trả lời của tôi là: không có lý do cho việc này. Ông đã chọn điều này bởi vì nó chỉ hoạt động kỳ diệu.

Entropy được định nghĩa là logarit của giá trị trung bình hình học của hệ số đa thức biểu thị số lượng trạng thái mà một hệ thống có thể ở:

$$\log \sqrt[N]{N \choose n_1,\ldots,n_k}$$

Các logarit xuất hiện trong công thức sau khi sử dụng xấp xỉ giai thừa của Stirling (xem phần giải thích này )

Nhật ký xuất phát từ đạo hàm của hàm H thỏa mãn các yêu cầu tự nhiên nhất định. Xem pg. 3 giây 2 nguồn này:

http://www.lptl.jussieu.fr/user/lesne/MSCS-entropy.pdf

Với các tiên đề, nếu bạn thực hiện tối ưu hóa, bạn sẽ có được một hàm duy nhất (tối đa các hằng số) với một bản ghi trong đó.

Tất cả các câu trả lời trên đều đúng, ngoại trừ việc họ diễn giải nhật ký, nhưng không giải thích nguồn gốc của nó.

Tôi đoán câu hỏi của bạn liên quan nhiều hơn đến "ý nghĩa" của logarit đó và tại sao mỗi thành phần đóng góp vào ý nghĩa tổng thể của công thức, chứ không phải là chủ nghĩa hình thức đơn thuần thể hiện sự gắn kết của định nghĩa với các yêu cầu nhất định.

$p(x)$$-log(p(x))$

• $p(x)$
• $-log(p(x))$

$p(x)$$-log(p(x))$

---

Từ bây giờ, tôi sẽ thảo luận về cách CHUNG ảnh hưởng đến công thức entropy cuối cùng.

$$log_2(x) = number\_of\_bits\_to\_encode\_the\_messages$$

Bây giờ, hãy ngồi, thư giãn và xem Entropy của Shannon đẹp như thế nào: nó dựa trên giả định (hợp lý) rằng các tin nhắn mang tính CHUNG hơn, do đó, TẦN SỐ hơn.

Ví dụ, tôi sẽ nói rằng đó là mưa hoặc nếu đó là một cơn mưa trung bình, nặng hạt hoặc rất nặng. Do đó, ông đã đề xuất mã hóa tính CHUNG của các tin nhắn dựa trên mức độ TỰ DO của chúng ... và bạn sẽ đến đó:

$$log_2 N = -log_2 1/N = -log_2 P$$

$N$$x$

Phương trình có thể được hiểu là: các thông điệp hiếm sẽ có mã hóa dài hơn vì chúng ít tổng quát hơn, vì vậy chúng cần nhiều bit hơn để được mã hóa và ít thông tin hơn. Do đó, việc có các tin nhắn cụ thể và hiếm hơn sẽ đóng góp nhiều hơn cho entropy hơn là có nhiều tin nhắn chung và thường xuyên.

---

$p(x)$$-log(p(x))$

Entropy cao nhất là khi chúng ta có một hệ thống với nhiều thông điệp hiếm và cụ thể. Entropy thấp nhất với các thông điệp thường xuyên và chung chung. Ở giữa, chúng ta có một phổ các hệ thống tương đương entropy có thể có cả tin nhắn hiếm và chung hoặc tin nhắn thường xuyên nhưng cụ thể.

Tôi không nghĩ rằng có thể cung cấp cho bạn một câu trả lời "trực quan" phổ quát. Tôi sẽ cung cấp cho bạn câu trả lời trực quan cho một số người, chẳng hạn như các nhà vật lý. Logarit là có để có được năng lượng trung bình của hệ thống. Đây là chi tiết.

Shannon đã sử dụng một từ " entropy " bởi vì ông đã điều chỉnh khái niệm này từ cơ học thống kê . Trong cơ học thống kê có một phân phối tinh dịch được đặt tên theo Boltzmann. Thật thú vị, bây giờ nó là một phân phối quan trọng trong học máy!

$$P=e^{\frac{a-E} b}$$ $a, b$$E$$dV$$V$$dV=dpdx$$x,p$$a,b$$\int_VPdV=1$$b$ tương ứng với nhiệt độ của hệ thống.

$\ln P\sim E$

$$S\equiv -\int_VP\ln P dV=<E>$$

$$\eta=-\sum_i P_i\ln P_i$$ $e^{-P_i}$

Điều này có đủ trực quan cho bạn? Nó là cho tôi, nhưng tôi là một nhà vật lý lý thuyết ở kiếp trước. Ngoài ra, bạn có thể đi đến một mức độ trực giác sâu hơn bằng cách liên kết với các khái niệm nhiệt động lực học cũ hơn như nhiệt độ và công trình của Boltzmann và Clausius.