Định tính chéo là gì Entropy

Câu hỏi này đưa ra một định nghĩa định lượng về entropy chéo, theo công thức của nó.

Tôi đang tìm kiếm một định nghĩa nổi tiếng hơn, wikipedia nói:

Trong lý thuyết thông tin, entropy chéo giữa hai phân phối xác suất đo số bit trung bình cần thiết để xác định một sự kiện từ một tập hợp các khả năng, nếu một sơ đồ mã hóa được sử dụng dựa trên phân phối xác suất q, thay vì phân phối "đúng" .

Tôi đã nhấn mạnh phần gây rắc rối cho tôi trong việc hiểu điều này. Tôi muốn một định nghĩa hay mà không đòi hỏi sự hiểu biết riêng biệt (tồn tại trước) về Entropy.

entropy information-theory

— Lyndon trắng
nguồn

Bạn đang yêu cầu một định nghĩa về chéo , đồng thời, sẽ xác định entropy chính nó. Và theo trực giác là như vậy ... Nếu bạn gặp khó khăn trong việc hiểu khái niệm Entropy, thì trước tiên bạn nên hiểu khái niệm cơ bản và sau đó là bất kỳ một trong các phần mở rộng của nó.

— Alecos Papadopoulos

Cá nhân tôi đã có một sự hiểu biết cơ bản về Entropy (mặc dù đã gần 12 tháng kể từ khi tôi áp dụng nó). Nhưng một biểu thức định lượng của Entropy, nên phù hợp trong một đoạn ngắn và entropy chéo chỉ nên lấy thêm một đoạn. Vì vậy, tôi cảm thấy một câu trả lời tốt có thể bao gồm cả hai, để người đọc không cần phải giới thiệu ở nơi khác để hiểu nó.

— Lyndon White

Xem các bài viết liên quan: stats.stackexchange.com/questions/66186/ Kẻ và số liệu thống kê.stackexchange.com/questions/188903/ Lỗi

— kjetil b halvorsen

Để mã hóa một sự kiện xảy ra với xác suất bạn cần ít nhất $p$ $\log_2(1/p)$ ).

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}}),

$\sum_i p_i \log_2(\tfrac{1}{p_i}),$ của phân phối xác suất ban đầu.

$P$ $Q$

\sum_{i} p_{i} code_length(i) = \sum_{i} p_{i} \log_{2} (\frac{1}{q_{i}}),

$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}})

$\sum_i p_i \log_2(\tfrac{1}{p_i})$ .

$P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$ .

Then if we want to encode it optimally, we encode A as 0 and B as 1, so we get one bit of encoded message per one letter. (And it is exactly Shannon entropy of our probability distribution.)

But if we have the same probability $P$ , but we encode it according to distribution where all letters are equally probably $Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$ , then we get two bits per letter (for example, we encode A as 00, B as 01, C as 10 and D as 11).

— Piotr Migdal
nguồn

Nice explanation, thanks. However, the wikipedia definition is sum_i[p_i * log(q_i)]. Your use of 1/q_i gives the number of possible states, hence log_2 converts that into the number of bits required to encode a single symbol, but the wikipedia page is describing something subtly different.

— redcalx

@locster In Wikipedia it has the minus sign before the sum, which is equivalent to having

1 / q_{i}

$1/q_i$ , as

\log (1 / q_{i}) = - \log (q_{i})

$\log(1/q_i)=-\log(q_i)$ .

— Piotr Migdal