Phân kỳ và kỳ vọng của KL

Tôi đang cố gắng để hiểu lời giải thích về sự phân kỳ KL theo bên dưới. Nó hiểu, như tôi hiểu, với một kỳ vọng trong nhiệm kỳ thứ hai. "Xấp xỉ kỳ vọng vào q trong nhiệm kỳ này". Tuy nhiên, chúng tôi đang nhân q (x) với nhật ký của p (x) (chứ không phải với p (x). Có đúng không khi coi cấu trúc này là giá trị mong đợi? Xin vui lòng cho tôi biết.

expected-value kullback-leibler

— người dùng1885116
nguồn

có, đó là giá trị dự kiến của theo phân phối

l o g (p (x))

$log(p(x))$

q

$q$

— seanv507

@ seanv507 để làm rõ cho người xem trong tương lai: Phân kỳ KL là giá trị kỳ vọng của sự khác biệt giữa thông tin trong các hàm khối lượng p (x) và q (x) trong phân phối q, tức là E_q [(log (q (x)) - log (p (x))] = E_q [I_q (x) - I_p (x)]

— cvanelteren

Giá trị mong đợi là một đại lượng có thể được tính cho bất kỳ chức năng nào của kết quả.

Đặt là không gian của tất cả các kết quả có thể xảy ra và để là phân phối xác suất được xác định trên . Đối với bất kỳ hàm trong đó là tập tùy ý được đóng dưới phép nhân và phép nhân vô hướng (ví dụ: ), chúng ta có thể tính giá trị mong đợi của theo phân phối như sau: $\Omega$ $q:\Omega \rightarrow \mathbb{R}$ $\Omega$ $f:\Omega \rightarrow S$ $S$ $S = \mathbb{R}$ $f$ $q$

E [f] = E_{x \sim q} [f (x)] = \sum_{x \in Ω} q (x) f (x)

$\mathbb{E}[f] = \mathbb{E}_{x \sim q}[f(x)] = \sum_{x \in \Omega} q(x) f(x)$

Trong phân kỳ KL, chúng ta có cho một số cố định . $f(x) = \ln{\frac{q(x)}{p(x)}}$ $p(x)$

— Sobi
nguồn