Làm thế nào để bạn so sánh hai quá trình Gaussian?

Phân kỳ Kullback-Leibler là một số liệu để so sánh hai hàm mật độ xác suất, nhưng số liệu nào được sử dụng để so sánh hai GP của $X$ và $Y$ ?

gaussian-process metric

— đẩy
nguồn

d (X, Y) = E [sup_{t} | X (t) - Y (t) |]

$d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

— Zen

@Zen: Nếu bạn có thời gian, tôi muốn biết thêm về số liệu khoảng cách này.

— Neil G

Xin chào, Neil. Tôi không biết nhiều về nó. Xin vui lòng, xem câu trả lời của tôi dưới đây.

— Zen

Câu trả lời:

Lưu ý rằng sự phân bố các quá trình Gaussian $\mathcal{X}\to\mathbb{R}$ là phần mở rộng của Gaussian đa biến cho có thể vô hạn $\mathcal{X}$ . Do đó, bạn có thể sử dụng phân kỳ KL giữa các phân phối xác suất GP bằng cách tích hợp trên $\mathbb{R}^\mathcal{X}$ :

D_{K L} (P | Q) = \int_{R^{X}} \log \frac{d P}{d Q} d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

Bạn có thể sử dụng các phương thức MC để tính gần đúng số lượng này trên rời rạc bằng cách lặp lại các quy trình lấy mẫu theo phân phối GP của chúng. Tôi không biết tốc độ hội tụ có đủ tốt không ... $\mathcal{X}$

Lưu ý rằng nếu là hữu hạn với , sau đó bạn rơi trở lại vào phân kỳ KL thông thường cho phân phối chuẩn đa biến: $\mathcal{X}$ $|\mathcal{X}|=n$

D_{K L} (G P (μ_{1}, K_{1}), G P (μ_{2}, K_{2})) = \frac{1}{2} (t r (K_{2}^{- 1} K_{1}) + (μ_{2} - μ_{1})^{⊤} K_{2}^{- 1} (μ_{2} - μ_{1}) - n + \log \frac{| K_{2} |}{| K_{1} |})

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— Emile
nguồn

Làm thế nào tôi có thể tính hai phương tiện (mu1 và mu2) bạn đã đề cập. Hoặc tôi nên lấy chúng bằng 0 như bình thường cho quá trình gaussian?

— Marat Zakirov

Hãy nhớ rằng nếu là một Quá trình Gaussian với hàm trung bình và hàm hiệp phương sai , thì, với mọi , vectơ ngẫu nhiên có phân phối chuẩn nhiều biến số với vectơ trung bình $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ và hiệp phương sai ma trận $(m(t_1),\dots,m(t_k))$ , nơi chúng tôi đã sử dụng tên viết tắt phổ biến $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ . $X(t)=X(t,\,\cdot\,)$

Mỗi nhận thức $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ $X(\,\cdot\,,\omega)$ $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$

d (X, Y) = E [sup_{t \in [0, 1]} | X (t) - Y (t) |] . (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$ I don't know if there is an analytical expression for this distance, but I believe you can compute a Monte Carlo approximation as follows. Fix some fine grid

0 \leq t_{1} < \dots < t_{k} \leq 1

$0\leq t_1<\dots<t_k\leq 1$ , and draw samples

(x_{i 1}, \dots, x_{i k})

$(x_{i1},\dots,x_{ik})$ and

(y_{i 1}, \dots, y_{i k})

$(y_{i1},\dots,y_{ik})$ from the normal random vectors

(X (t_{1}), \dots, X (t_{k}))

$(X(t_1),\dots,X(t_k))$ and

(Y (t_{1}), \dots, Y (t_{k}))

$(Y(t_1),\dots,Y(t_k))$ , respectively, for

i = 1, \dots, N

$i=1,\dots,N$ . Approximate

d (X, Y)

$d(X,Y)$ by

\frac{1}{N} \sum_{i = 1}^{N} max_{1 \leq j \leq k} | x_{i j} - y_{i j} | .

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— Zen
nguồn

How do you sample from each vector? If you only sample the means in each of the GPs you do not take into account the variances. Otherwise you will have to devise a sampling technique that is consistent.

— pushkar

This is an excellent resource: gaussianprocess.org/gpml/chapters

— Zen

You may also read all the answers to this question: stats.stackexchange.com/questions/30652/…

— Zen

Pay attention that this is not a distance since

d (X, X) \neq 0

$d(X,X) \neq 0$ . As the KL compares two distributions and not two realisations, Zen's distance between two GPs should be defined as

d (G_{1}, G_{2}) = E_{X \sim G_{1}, Y \sim G_{2}} [sup_{t} | X (t) - Y (t) |]

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$ , and we have that

E_{X \sim G, Y \sim G} sup_{t} | X (t) - Y (t) | > 0

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$ for non degenerated Gaussian process

G

$G$ .

— Emile

@Emile: how is it that

d (X, X) \neq 0

$d(X,X)\neq 0$ using definition

(*)

$(*)$ ?

— Zen