Thu thập thông tin, thông tin lẫn nhau và các biện pháp liên quan

Andrew More định nghĩa thông tin đạt được là:

$IG(Y|X) = H(Y) - H(Y|X)$

Trong đó là entropy có điều kiện . Tuy nhiên, Wikipedia gọi số lượng thông tin lẫn nhau ở trên .$H(Y|X)$

Mặt khác, Wikipedia định nghĩa mức tăng thông tin là phân kỳ KullbackTHER Leibler (còn gọi là phân kỳ thông tin hoặc entropy tương đối) giữa hai biến ngẫu nhiên:

$D_{KL}(P||Q) = H(P,Q) - H(P)$

Trong đó được định nghĩa là entropy chéo .$H(P,Q)$

Hai định nghĩa này dường như không nhất quán với nhau.

Tôi cũng đã thấy các tác giả khác nói về hai khái niệm liên quan bổ sung, đó là entropy khác biệt và thu được thông tin tương đối.

Định nghĩa chính xác hoặc mối quan hệ giữa các đại lượng này là gì? Có một cuốn sách văn bản tốt bao gồm tất cả?

• Thu thập thông tin
• Thông tin lẫn nhau
• Entropy chéo
• Entropy có điều kiện
• Entropy khác biệt
• Tăng thông tin tương đối

Tôi nghĩ rằng việc gọi phân kỳ Kullback-Leibler là "thu thập thông tin" là không chuẩn.

Định nghĩa đầu tiên là tiêu chuẩn.

EDIT: Tuy nhiên, cũng có thể được gọi là thông tin lẫn nhau.$H(Y)−H(Y|X)$

Lưu ý rằng tôi không nghĩ rằng bạn sẽ tìm thấy bất kỳ ngành khoa học nào thực sự có sơ đồ đặt tên chuẩn, chính xác và nhất quán. Vì vậy, bạn sẽ luôn phải xem các công thức, bởi vì chúng thường sẽ cho bạn một ý tưởng tốt hơn.

Sách giáo khoa: xem "Giới thiệu tốt về các loại entropy khác nhau" .

Ngoài ra: Cosma Shalizi: Phương pháp và kỹ thuật của khoa học hệ thống phức tạp: Tổng quan, chương 1 (trang 33--114) trong Thomas S. Deisboeck và J. Yasha Kresh (chủ biên), Khoa học hệ thống phức tạp trong y sinh học http: // arxiv.org/abs/nlin.AO/0307015

Robert M. Gray: Entropy và Lý thuyết thông tin http://ee.stanford.edu/~gray/it.html

David MacKay: Lý thuyết thông tin, suy luận và thuật toán học tập http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

Ngoài ra, "entropy và thông tin đạt được là gì?"

Sự phân kỳ Kullback-Leiber giữa $p(X,Y)$ và $P(X)P(Y)$ giống như thông tin lẫn nhau, có thể dễ dàng rút ra:

$$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$$

Note: $p(y) = \sum_x p(x,y)$

Mutual information can be defined using Kullback-Liebler as

$$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$$

Extracting mutual information from textual datasets as a feature to train machine learning model: ( the task was to predict age, gender and personality of bloggers)

Both definitions are correct, and consistent. I'm not sure what you find unclear as you point out multiple points that might need clarification.

Firstly: $MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$ are all different names for the same thing. In different contexts one of these names may be preferable, i will call it hereon Information.

The second point is the relation between the Kullback–Leibler divergence-$D_{KL}$, and Information. The Kullback–Leibler divergence is simply a measure of dissimilarity between two distributions. The Information can be defined in these terms of distributions' dissimilarity (see Yters' response). So information is a special case of $K_{LD}$, where $K_{LD}$ is applied to measure the difference between the actual joint distribution of two variables (which captures their dependence) and the hypothetical joint distribution of the same variables, were they to be independent. We call that quantity Information.

The third point to clarify is the inconsistent, though standard notation being used, namely that $\operatorname{H} (X,Y)$ is both the notation for Joint entropy and for Cross-entropy as well.

So, for example, in the definition of Information:

$$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$$ in both last lines, $\operatorname{H}(X,Y)$ is the joint entropy. This may seem inconsistent with the definition in the Information gain page however: $DKL(P||Q)=H(P,Q)−H(P)$ but you did not fail to quote the important clarification - $\operatorname{H}(P,Q)$ is being used there as the cross-entropy (as is the case too in the cross entropy page).

Joint-entropy and Cross-entropy are NOT the same.

Check out this and this where this ambiguous notation is addressed and a unique notation for cross-entropy is offered - $H_q(p)$

I would hope to see this notation accepted and the wiki-pages updated.