3
Tính toán phân kỳ Kullback-Leibler trong thực tế?
Tôi đang sử dụng Phân kỳ KL làm thước đo cho sự khác biệt giữa 2 p.m.f.p.m.f.p.m.f. PPP và QQQ . =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) Nếu thì chúng ta có thể dễ dàng tính được rằng P ( X i ) …