Làm thế nào để chứng minh bất đẳng thức Gaussian Mixture này? (Lắp / quá mức)

Hãy f [x] là một hỗn hợp pdf Gaussian với n về trọng lượng đồng đều, phương tiện , và chênh lệch tương ứng : $\{\mu_{1},...,\mu_{n}\}$ $\{\sigma_{1},...,\sigma_{n}\}$

f (x) \equiv \frac{1}{n} \sum_{i = 1}^{n} \frac{1}{\sqrt{2 π σ_{i}^{2}}} e^{- \frac{(x - μ_{i})^{2}}{2 σ_{i}^{2}}}

$f(x)\equiv\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}}$

Dường như trực quan rằng tính thích log của mẫu được lấy mẫu tại các trung tâm Gaussian sẽ lớn hơn (hoặc bằng) giá trị log-likelihood trung bình:

\frac{1}{n} \sum_{j = 1}^{n} l n (f (μ_{j})) \geq \int f (x) l n (f (x)) d x

$\frac{1}{n}\sum_{j=1}^{n}ln(f(\mu_{j}))\geq\int f(x)ln(f(x))dx$

Đây rõ ràng là đúng đối với chênh lệch nhỏ (mỗi là trên đỉnh của một Gaussian hẹp) và chênh lệch rất lớn (tất cả các 's là trên đỉnh một rộng Gaussian với nhau), và nó được đúng đối với tất cả các bộ ' s và là tôi đã tạo và tối ưu hóa, nhưng tôi không thể tìm cách để chứng minh rằng nó là luôn luôn đúng. Cứu giúp? $\mu_{i}$ $\mu_{i}$ $\mu_i$ $\sigma_i$

machine-learning gaussian-mixture

— Jerry Guern
nguồn

Có lẽ bạn đang thiếu một kỳ vọng vào các lhs?

— lacerbi

@lacerbi Không, tôi thì không. Không có thứ gì bị mất cả. Trên LHS, các

được đánh giá tại chỉ mục

f (x)

$f(x)$

x_{i}

$x_i$

— Jerry Guern

Vâng, xin lỗi - tôi đã quá buồn ngủ và tôi đã đọc sai định nghĩa.

— lacerbi

Câu trả lời:

Đây là nhiều hơn một bình luận mở rộng, vì vậy hãy xem nó như vậy. Xác định: (Tôi đang sử dụng các ký hiệu tiêu chuẩn cho các bản phân phối Gaussian).

f (x) \equiv \frac{1}{n} \sum_{i = 1}^{n} N (x | x_{i}, σ_{i}^{2})

$f(x) \equiv \frac{1}{n} \sum_{i = 1}^n \mathcal{N}\left(x | x_i, \sigma_i^2 \right)$

Bạn muốn chứng minh rằng: là

\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i}) - \int f (x) \log f (x) d x \geq 0

$\frac{1}{n} \sum_{i = 1}^n \log f(x_i) - \int f(x) \log f(x) dx \ge 0$

{\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i})} + H [f] \geq 0.

$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i)\right\} + \mathcal{H}[f] \ge 0.$

Do Bất đẳng thức Jensen (xem ví dụ Huber et al, On Entropy xấp xỉ cho Gaussian Hỗn hợp ngẫu nhiên Vectors, 2008. ), với

H [f] \geq - \frac{1}{n} \sum_{i = 1}^{n} \log \int f (x) N (x | x_{i}, σ_{i}^{2}) d x = - \frac{1}{n} \sum_{i = 1}^{n} \log g_{i} (x_{i})

$\mathcal{H}[f] \ge -\frac{1}{n} \sum_{i = 1}^n \log \int f(x) \mathcal{N}(x | x_i, \sigma_i^2) dx = -\frac{1}{n} \sum_{i = 1}^n \log g_i(x_i)$

, mà xuất phát từ chập của hai mật độ Gauss. Vì vậy, chúng tôi nhận được:

g_{i} (x) \equiv \frac{1}{n} \sum_{j = 1}^{n} N (x | x_{j}, σ_{i}^{2} + σ_{j}^{2})

$g_i(x) \equiv \frac{1}{n} \sum_{j = 1}^n \mathcal{N}\left(x | x_j, \sigma_i^2 + \sigma_j^2 \right)$

Thật thú vị,

vẫn là hỗn hợp của Gaussian với thành phần có nghĩa là bằng với các thành phần trong

, nhưng mỗi thành phần của

có phương sai lớn hơn hoàn toàn so với thành phần tương ứng của nó trong

. Bạn có thể làm bất cứ điều gì với điều này?

{\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i})} + H [f] \geq \frac{1}{n} \sum_{i = 1}^{n} \log \frac{f (x_{i})}{g_{i} (x_{i})} .

$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i) \right\} + \mathcal{H}[f] \ge \frac{1}{n} \sum_{i = 1}^n \log \frac{f(x_i)}{g_i(x_i)}.$

g_{i}

$g_i$

f

$f$

g_{i}

$g_i$

f

$f$

— lacerbi
nguồn

Cảm ơn bạn. Có vẻ như tôi vừa chứng minh rằng RHS cuối cùng là> = 0, cũng có vẻ trực quan nhưng khó để chứng minh, nhưng đây thực sự là một bước đi đúng hướng. Tôi đã thấy tờ giấy đó trước đây.

— Jerry Guern

Thật hấp dẫn khi nghĩ rằng RHS cuối cùng luôn tích cực, nhưng tôi thực sự không thể chứng minh điều đó.

— Jerry Guern

Tôi nghĩ rằng tôi đã nhận nó. Nó chỉ thực hiện các bước cơ bản, mặc dù bạn cần kết hợp chúng ngay.

$f_i$ $i$ $\frac{1}{\sqrt{2\pi \sigma_i^2}}e^{\frac{(x-\mu_i)^2}{2\sigma_i^2}}$

$g(x) = x log(x)$ $f(x) \log(f(x)) \leq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$

\int f (x) \log (f (x)) d x \leq \frac{1}{n} \sum_{i = 1}^{n} \int f_{i} (x) \log (f_{i} (x)) d x

$\int f(x)\log(f(x)) dx \leq \frac{1}{n} \sum_{i=1}^n \int f_i(x) \log(f_i(x)) dx$

$i$ $f \geq f_i$

l o g (f (μ_{i})) \geq l o g (f_{i} (μ_{i}))

$log(f(\mu_i)) \geq log(f_i(\mu_i))$

\frac{1}{n} \sum_{i = 1}^{n} l o g (f (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i}))

$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$

\frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} f_{i} (x) \log (f_{i} (x))

$\frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$

l o g (f_{i} (μ_{i})) = \int f_{i} (x) l o g (f_{i} (μ_{i})) d x \geq \int f_{i} (x) l o g (f_{i} (x)) d x

$log(f_i(\mu_i)) = \int f_i(x) log(f_i(\mu_i)) dx \geq \int f_i(x) log(f_i(x)) dx$

i

$i$

n

$n$

— sjm.majewski
nguồn

Tôi bối rối. Bạn đã xác định ag (x) nhưng không bao giờ sử dụng nó và tôi không biết f_i của bạn có nghĩa là gì.

— Jerry Guern

f_{i}

$f_i$

g

$g$

g (\frac{1}{n} \sum_{i = 1}^{n} f_{i} (x)) \leq \frac{1}{n} \sum_{i = 1}^{n} g (f_{i} (x))

$g(\frac{1}{n}\sum_{i=1}^n f_i(x)) \leq \frac{1}{n}\sum_{i=1}^n g(f_i(x))$

f >= f_{i}

$f>=f_i$

1 / n

$1/n$

f_{i}

$f_i$

\frac{1}{n} \sum_{i = 1}^{n} l o g (f (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i}))

$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$

Vâng, tôi nhận ra nó ngày hôm qua. Có vẻ như sự bất bình đẳng này khá khó khăn, dù sao tôi cũng sẽ để lại câu trả lời của mình bằng một chỉnh sửa.

— sjm.majewski