Điều gì xảy ra với tỷ lệ khả năng khi ngày càng có nhiều dữ liệu được thu thập?

Đặt , và là mật độ và giả sử bạn có , . Điều gì xảy ra với tỷ lệ khả năng là ? (Nó có hội tụ không? Để làm gì?)$f$$g$$h$$x_i \sim h$$i \in \mathbb{N}$

$$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$$ $n \rightarrow \infty$

Chẳng hạn, chúng ta có thể giả sử . Các trường hợp chung cũng được quan tâm.$h = g$

Nếu một người lấy logarit của sản phẩm này, và biến nó thành một luật áp dụng số lượng lớn, do đó người ta có được sự hội tụ gần như chắc chắn giả sử tích phân này được xác định rõ [ví dụ phản tác dụng rất dễ xảy ra].ˉ r n=

$${\mathfrak{r}}=\log \prod_{i=1}^n \frac{f(x_i)}{g(x_i)} = \sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$$ ˉ r n a.s. ⟶ Eh[logf(X $$\bar{\mathfrak{r}}_n=\frac{1}{n}\sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$$ $$\bar{\mathfrak{r}}_n\stackrel{\text{a.s.}}{\longrightarrow}\mathbb{E}_h\left[\log \frac{f(X)}{g(X)}\right]=\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$$

Chẳng hạn, nếu , và là mật độ cho các bản phân phối Bình thường với các phương tiện , và zero, tất cả đều có phương sai một, giá trị của là g h μ 1 μ 2 ∫ X log f ( x $f$$g$$h$$\mu_1$$\mu_2$

$$\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$$ $$\int_\mathfrak{X} \{(x-\mu_1)^2-(x-\mu^2_2)\}\,\varphi(x)\,\text{d}x= \mu_1^2-\mu^2_2\,.$$

Cũng lưu ý rằng, không tính trung bình, sản phẩm gần như chắc chắn hội tụ về 0 (khi ) . Trong khi sản phẩm gần như chắc chắn hội tụ về 0 hoặc vô cùng tùy thuộc vào hoặc gần hơn với theo nghĩa phân kỳ Kullback-Leibler (khi ).

$$\prod_{i=1}^n \frac{f(x_i)}{h(x_i)}$$ $x_i\sim h(x)\,$ $$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$$ $g$$f$$h$$x_i\sim h(x)\,$

Đặt . Hãy xem xét số lượng theo Luật mạnh Số lớn, $Z_n = \prod^n_i \frac{p(x)}{q(x)}$

$$W_n = \frac{1}{n}log(Z_n) = \frac{1}{n}\sum_i^n log(\frac{p(x)}{q(x)})$$ $$\lim_{n \rightarrow \infty} W_n = E_{q(x)}[log(\frac{p(x)}{q(x)})] = \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx$$

Vì và ,$log(a) < a-1 \ \forall a > 0$ $a \neq 1$$\frac{p(x)}{q(x)} > 0$$p(x) \neq q(x)$

$$W_n \rightarrow \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx < \int_\mathcal{X} (\frac{p(x)}{q(x)} - 1)q(x)dx = \int_\mathcal{X} p(x)dx - \int_\mathcal{X} q(x)dx = 1 - 1 = 0$$ Điều này mang lại cho chúng ta $$\lim_{n \rightarrow \infty} W_n < 0 \implies \lim_{n \rightarrow \infty} \frac{1}{n}log(Z_n) < 0 \implies \lim_{n \rightarrow \infty} n \cdot \frac{1}{n}log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} Z_n = 0 \ \blacksquare$$