Ước tính phân kỳ Kullback Leibler (KL) với monte carlo

9

Tôi muốn ước tính độ phân kỳ KL giữa hai phân phối liên tục f và g. Tuy nhiên, tôi không thể ghi lại mật độ cho f hoặc g. Tôi có thể lấy mẫu từ cả f và g thông qua một số phương pháp (ví dụ: markov chain monte carlo).

Phân kỳ KL từ f đến g được định nghĩa như thế này

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx$

Đây là kỳ vọng của $\log\left(\frac{f(x)}{g(x)}\right)$ đối với f để bạn có thể tưởng tượng một số ước tính monte carlo

\frac{1}{N} \sum_{i}^{N} \log (\frac{f (x_{i})}{g (x_{i})})

$\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right)$

Trong đó i lập chỉ mục N mẫu được rút ra từ f (tức là $x_i \sim f()$ cho i = 1, ..., N)

Tuy nhiên, vì tôi không biết f () và g (), tôi thậm chí không thể sử dụng ước tính monte carlo này. Cách ước tính tiêu chuẩn của KL trong tình huống này là gì?

EDIT: Tôi KHÔNG biết mật độ không chuẩn hóa cho cả f () hoặc g ()

kullback-leibler

— frelk
nguồn

Bạn đã cân nhắc sử dụng ecdfs chưa?

— Toby

điều này sẽ hoạt động nhưng nó có thể chậm tùy ý cho sự lựa chọn khó khăn của f và g (đóng, hoặc đóng đuôi). Nếu bạn quyết định bỏ qua các mẫu từ đuôi thì bạn có thể gặp nhiều may mắn hơn với giới hạn trên của roc.

— enthdegree

Về cơ bản là một bản sao: stats.stackexchange.com/questions/211175/ từ

— kjetil b halvorsen

6

Ở đây tôi giả sử rằng bạn chỉ có thể lấy mẫu từ các mô hình; một hàm mật độ không chuẩn hóa là không có sẵn.

Bạn viết nó

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\underset{=: r}{\underset{⏟}{\frac{f (x)}{g (x)}}}) d x,

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\underbrace{\frac{f(x)}{g(x)}}_{=: r}\right) dx,$

$r$ $p(f|x)$ $x$ $f$ $p(g|x) = 1 - p(f|x)$

r = \frac{p (x | f)}{p (x | g)} = \frac{p (f | x) p (x) p (g)}{p (g | x) p (x) p (f)} = \frac{p (f | x)}{p (g | x)},

$r = \frac{p(x|f)}{p(x|g)} \\ = \frac{p(f|x) {p(x) p(g)}}{p(g|x)p(x) p(f)} \\ = \frac{p(f|x)}{p(g|x)},$

$p(g) = p(f)$

Có được một phân loại như vậy có thể khá dễ dàng vì hai lý do.

$f$ $g$

— bayerj
nguồn

6

$f$ $g$ $f(x) = f_u(x)/c_f$ $g(x) = g_u(x)/c_g$

\hat{D_{K L}} (f | | g) = {[n^{- 1} \sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})]}^{- 1} \frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] - \log (\hat{r})

$\widehat{D_{KL}}(f || g) = \left[n^{-1} \sum_j f_u(x_j)/\pi_f(x_j)\right]^{-1}\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] - \log (\hat{r})$

\begin{matrix} (1) & \hat{r} = \frac{1 / n}{1 / n} \frac{\sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})}{\sum_{j} g_{u} (y_{j}) / π_{g} (y_{j})} . \end{matrix}

$\hat{r} = \frac{1/n}{1/n}\frac{\sum_j f_u(x_j)/\pi_f(x_j)}{\sum_j g_u(y_j)/\pi_g(y_j)} \tag{1}.$

c_{f} / c_{g}

$c_f/c_g$

π_{f}

$\pi_f$

π_{g}

$\pi_g$

f_{u}

$f_u$

g_{u}

$g_u$

π_{r}

$\pi_r$

$\{x_i\} \sim \pi_f$ $\{y_i\} \sim \pi_g$ $\{z_i\} \sim \pi_r$ $c_f$ $c_g$

\frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] \overset{as}{\to} c_{f} E [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})})]

$\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] \overset{\text{as}}{\to} c_f E\left[ \log\left(\frac{f_u(z_i)}{g_u(z_i)}\right) \right]$

Động lực của tôi là như sau:

\begin{aligned} D_{K L} (f | | g) & = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x \\ = \int_{- \infty}^{\infty} f (x) {\log [\frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}]} d x \\ = E_{f} [\log \frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}] \\ = c_{f}^{- 1} E_{π_{r}} [\log \frac{f_{u} (x)}{g_{u} (x)} \frac{f_{u} (x)}{π_{r} (x)}] + \log [\frac{c_{g}}{c_{f}}] . \end{aligned}

$\begin{align*} D_{KL}(f || g) &= \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx \\ &= \int_{-\infty}^{\infty} f(x)\left\{ \log \left[\frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right]\right\} dx \\ &= E_f\left[\log \frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right] \\ &= c_f^{-1} E_{\pi_r}\left[\log \frac{f_u(x)}{g_u(x)}\frac{f_u(x)}{\pi_r(x)} \right] + \log \left[\frac{c_g}{c_f} \right]. \end{align*}$

Để biết thêm ý tưởng về cách mô phỏng tỷ lệ thích, tôi đã tìm thấy một bài báo có một vài: https://projecteuclid.org/doad/pdf_1/euclid.aos/1031594732

— Taylor
nguồn

(+1) Điều đáng chú ý ở đây là lấy mẫu quan trọng có thể có phương sai cực kỳ cao (thậm chí phương sai vô hạn) nếu phân phối mục tiêu có đuôi nhiều hơn so với phân phối mà bạn lấy mẫu từ và / hoặc số lượng kích thước đều lớn.

— David J. Harris

@ DavidJ.Harris rất rất đúng

— Taylor

0

Bên cạnh phương pháp phân loại xác suất được đề cập bởi @bayerj, bạn cũng có thể sử dụng giới hạn dưới của phân kỳ KL xuất phát trong [1-2]:

K L [f ‖ g] \geq sup_{T} {E_{x \sim f} [T (x)] - E_{x \sim g} [\exp (T (x) - 1)]},

$\mathrm{KL}[f \Vert g] \ge \sup_{T} \left\{ \mathbb{E}_{x\sim f}\left[ T(x) \right] - \mathbb{E}_{x\sim g} \left[ \exp \left( T(x) - 1 \right)\right] \right\},$

T : X \to R

$T:\mathcal{X}\to\mathbb{R}$

T (x) = 1 + \ln [\frac{f (x)}{g (x)}]

$T(x) = 1 + \ln \left[ \frac{f(x)}{g(x)} \right]$

Để ước tính độ phân kỳ KL giữa và , chúng ta tối đa hóa wrt giới hạn dưới cho hàm . $f$ $g$ $T(x)$

Người giới thiệu:

[1] Nguyen, X., Wainwright, MJ và Jordan, MI, 2010. Ước tính các hàm phân kỳ và tỷ lệ khả năng bằng cách giảm thiểu rủi ro lồi. Giao dịch của IEEE về Lý thuyết thông tin, 56 (11), tr.5847-5861.

[2] Nowozin, S., Cseke, B. và Tomioka, R., 2016. f-gan: Đào tạo các máy lấy mẫu thần kinh thế hệ bằng cách sử dụng tối thiểu hóa phân kỳ thay đổi. Trong những tiến bộ trong hệ thống xử lý thông tin thần kinh (trang 271-279).

— Cường
nguồn