Làm thế nào để tính toán thông tin lẫn nhau?

Tôi la một chut Nhâm lân. Ai đó có thể giải thích cho tôi cách tính thông tin lẫn nhau giữa hai thuật ngữ dựa trên ma trận tài liệu thuật ngữ với sự xuất hiện của thuật ngữ nhị phân là trọng số không?

\begin{matrix} ^{'} W h y^{'} & ^{'} H o w^{'} & ^{'} W h e n^{'} & ^{'} W h e r e^{'} \\ D o c u m e n t 1 & 1 & 1 & 1 & 1 \\ D o c u m e n t 2 & 1 & 0 & 1 & 0 \\ D o c u m e n t 3 & 1 & 1 & 1 & 0 \end{matrix}

$\begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix}$

I (X; Y) = \sum_{y \in Y} \sum_{x \in X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)})

$I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right)$

Cảm ơn bạn

— người dùng18075
nguồn

Là gì và ?

X

$X$

Y

$Y$

— Dilip Sarwate

X và Y là các số hạng. X có thể là "Tại sao" và Y có thể là "Làm thế nào".

— user18075

Làm thế nào về việc hình thành một bảng xác suất chung giữ các sự xuất hiện chuẩn hóa trong các tài liệu. Sau đó, bạn có thể có được entropy chung và entropy biên bằng cách sử dụng bảng. Cuối cùng,

I (X, Y) = H (X) + H (Y) - H (X, Y) .

$I(X,Y) = H(X)+H(Y)-H(X,Y).$

— Zoran
nguồn

Khi các phân phối chung và biên đã được xác định, tại sao cần phải tính , và và sử dụng công thức bạn thể hiện? Không thể xác định thông tin lẫn nhau trực tiếp thông qua công thức do OP đưa ra vì mọi thứ cần thiết để "cắm vào", viz. và được biết đến vào thời điểm này?

H (X)

$H(X)$

H (Y)

$H(Y)$

H (X, Y)

$H(X,Y)$

p (x, y), p (x)

$p(x,y), p(x)$

p (y)

$p(y)$

— Dilip Sarwate

công thức là tương đương ngoại trừ cái sau có thể dễ hiểu hơn từ cái nhìn đầu tiên.

— Zoran