Làm thế nào để nhật ký (p (x, y)) bình thường hóa thông tin lẫn nhau theo quan điểm?

Tôi đang cố gắng để hiểu hình thức chuẩn hóa của thông tin lẫn nhau theo chiều.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Tại sao xác suất khớp đăng nhập bình thường hóa thông tin lẫn nhau theo điểm nằm giữa [-1, 1]?

Thông tin lẫn nhau theo quan điểm là:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) được giới hạn bởi [0, 1] vì vậy log (p (x, y)) bị giới hạn bởi (, 0]. Có vẻ như nhật ký (p (x, y)) nên bằng cách nào đó cân bằng thay đổi trong tử số, nhưng tôi không hiểu chính xác làm thế nào. Nó cũng nhắc tôi về entropy , nhưng một lần nữa tôi không hiểu chính xác mối quan hệ.$h=-log(p(x))$

Từ mục nhập Wikipedia về thông tin lẫn nhau theo chiều :

Thông tin lẫn nhau theo chiều có thể được chuẩn hóa giữa [-1, + 1] dẫn đến -1 (trong giới hạn) vì không bao giờ xảy ra cùng nhau, 0 cho độc lập và +1 cho sự xuất hiện hoàn toàn.

Tại sao nó xảy ra? Vâng, định nghĩa cho thông tin lẫn nhau theo chiều là

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

trong khi đó đối với thông tin tương hỗ theo chiều chuẩn hóa là:

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

Khi có:

• không có sự xuất hiện đồng thời, , vì vậy nmpi là -1,$\log p(x,y)\to -\infty$
• các lần xuất hiện ngẫu nhiên, , vì vậy nmpi là 0,$\log p(x,y)= \log[p(x) p(y)]$
• hoàn thành các lần xuất hiện, , vì vậy nmpi là 1.$\log p(x,y)= \log p(x) = \log p(y)$

Mặc dù câu trả lời của Piotr Migdal là thông tin trong việc đưa ra các ví dụ trong đó nmpi đạt được ba giá trị cực trị, nhưng điều đó không chứng minh rằng nó nằm trong khoảng . Đây là sự bất bình đẳng và dẫn xuất của nó. là cho bất kỳ sự kiện . Chia cả hai bên cho không âm , chúng ta có $[-1,1]$

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ $-\log\,p(A)\ge0$$A$$h(x,y):=-\log\,p(x,y)$ $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$