Tại sao vấn đề lộn xộn không thể khắc phục đối với kích thước mẫu lớn?

Giả sử chúng ta có một tập hợp các điểm . Mỗi điểm được tạo bằng phân phối Để có được hậu thế cho chúng ta viết Theo giấy Minka về vọng Tuyên truyền chúng ta cần tính toán để có được sau và, vì vậy, vấn đề trở nên khó cho mẫu lớn kích thước . Tuy nhiên, tôi không thể hiểu tại sao chúng ta cần số lượng tính toán như vậy trong trường hợp này, bởi vì đối với đơn $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ $y_i$

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$

x

$x$

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$

2^{N}

$2^N$

p (x | y)

$p(x| \mathbf{y})$

N

$N$

y_{i}

$y_i$ khả năng có dạng

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

Sử dụng công thức này, chúng tôi thu được sau bằng cách nhân đơn giản $p(y_i| x)$ , vì vậy chúng tôi chỉ cần $N$ thao tác và vì vậy chúng tôi có thể giải quyết vấn đề này cho các cỡ mẫu lớn một cách chính xác.

Tôi thực hiện thử nghiệm bằng số để so sánh liệu tôi có thực sự có được cùng một hậu thế trong trường hợp tôi tính riêng từng thuật ngữ và trong trường hợp tôi sử dụng sản phẩm có mật độ cho mỗi . Hậu thế cũng vậy. Xem tôi sai ở đâu? Bất cứ ai cũng có thể nói rõ cho tôi tại sao chúng ta cần phép tính để tính sau cho và mẫu ? $y_i$ nhập mô tả hình ảnh ở đây $2^N$ $x$ $\mathbf{y}$

bayesian mixture posterior

— Alexey Zaytsev
nguồn

Một hoạt động cho mỗi thuật ngữ và thuật ngữ , vì vậy chúng tôi cần các hoạt động . Ngoài ra, tôi xem qua bài viết của Minka và chương của Giám mục về suy luận gần đúng một lần nữa. Cả hai đều gợi ý rằng chúng tôi muốn ước tính và có được hậu thế cho .

N

$N$

O (N)

$O(N)$

x

$x$

— Alexey Zaytsev

Tôi có hiểu chính xác rằng của bạn là đơn biến không? Nếu vậy, bạn có thể giải quyết vấn đề này trong được coi là dễ điều khiển bất kể

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

— user603

2^{N}

$2^N$ $x$ $2^N$

2^{N}

$2^N$

N

$N$

2^{N}

$2^N$

x

$x$

N

$N$

x

$x$

$x$ $O(n)$ $x$ $2^N$

— Tom chồn
nguồn

$y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

$c_i$ $i$ $0$ $p(y|x)$ $x$

$2^N$

— Dave
nguồn

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

c

$c$

c_{i}

$c_i$

c_{i}

$c_i$

2^{N}

$2^N$

O (n)

$O(n)$

O (2^{n})

$O(2^n)$