Theo trực giác, tại sao entropy chéo là thước đo khoảng cách của hai phân phối xác suất?

Đối với hai phân phối rời rạc và , entropy chéo được định nghĩa là $p$ $q$

H (p, q) = = - \underset{x}{Σ} p (x) đăng nhập q (x) .

$H(p,q)=-\sum_x p(x)\log q(x).$

Tôi tự hỏi tại sao điều này sẽ là một thước đo trực quan về khoảng cách giữa hai phân phối xác suất?

Tôi thấy rằng là entropy của , đo lường "sự bất ngờ" của . là số đo thay thế một phần bằng . Tôi vẫn không hiểu ý nghĩa trực quan đằng sau định nghĩa. $H(p,p)$ $p$ $p$ $H(p,q)$ $p$ $q$

probability distributions cross-entropy

— Kadistar
nguồn

Tôi khuyên bạn nên tìm định nghĩa toán học của số liệu (và khoảng cách). thông thường, theo các thuộc tính đó là điều tối thiểu mà một hàm nên tuân theo vì nó là một khoảng cách. Hy vọng nó giúp. Mặc dù có vẻ như

. Theo trực giác, vì chức năng của nó là một phần của phân kỳ KL, tôi giả sử nó là loại phân kỳ của p và q được bù bởi entropy p. Mặc dù, đó chỉ là một phỏng đoán. Ngoài ra, độ phân kỳ không phải là số liệu / khoảng cách nên tôi rất ngạc nhiên nếu Cross Entropy là.

H (p, q) = H (p) + D_{K L} (p | | q)

$H(p,q) = H(p) + D_{KL}(p || q )$

— Charlie Parker

Sau đó, hiểu về phân kỳ Kullback_leibler giúp hiểu về entropy chéo: stats.stackexchange.com/questions/188903/ Kẻ

— kjetil b halvorsen

Dưới đây là một video tuyệt vời giải thích về sự khác biệt của KL một cách rõ ràng và đơn giản: youtube.com/watch?v=ErfnhcEV1O8

— Kinda Chen

Xem liệu "Trực giác đằng sau Entropy" này có giúp được không: Medium.com/@siddharth.4oct/ dọa

— Siddharth Roy

Giảm thiểu entropy chéo thường được sử dụng làm mục tiêu học tập trong các mô hình thế hệ trong đó p là phân phối thực sự và q là phân phối đã học.

Entropy chéo của p và q bằng entropy của p cộng với phân kỳ KL giữa p và q.

$H(p, q) = H(p) + D_{KL}(p||q)$

$H(p)$ $p$

Lưu ý rằng phân kỳ KL không phải là một thước đo khoảng cách thích hợp. Đối với một điều, nó không đối xứng trong p và q. Nếu bạn cần một thước đo khoảng cách để phân phối xác suất, bạn sẽ phải sử dụng thứ khác. Nhưng, nếu bạn đang sử dụng từ "khoảng cách" một cách không chính thức thì bạn có thể sử dụng phân kỳ KL.

— Aaron
nguồn

Tại sao bạn có thể nghĩ về p như một hằng số? Bạn đang học gì thế"? q? Câu hỏi ban đầu không nói gì về việc học, vì vậy tôi muốn hiểu rõ hơn về ý của bạn :)

— Charlie Parker

chỉnh sửa nó để làm cho nó rõ ràng hơn. p là phân phối xuất phát từ dữ liệu huấn luyện và q được học theo mô hình.

— Aaron