Hiểu biết về phân phối dự đoán Bayes

9

Tôi đang tham gia khóa học Giới thiệu về Bayes và tôi gặp khó khăn trong việc hiểu các bản phân phối dự đoán. Tôi hiểu tại sao chúng hữu ích và tôi quen với định nghĩa này, nhưng có một số điều tôi không hiểu lắm.

1) Làm thế nào để có được phân phối dự đoán đúng cho một vectơ quan sát mới

Giả sử rằng chúng tôi đã xây dựng một mô hình lấy mẫu $p(y_i | \theta)$ cho dữ liệu và $p(\theta)$ . Giả sử rằng các quan sát độc lập có điều kiện với . $y_i$ $\theta$

Chúng tôi đã quan sát một số dữ liệu và chúng tôi cập nhật trước của chúng tôi lên sau . $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ $p(\theta)$ $p(\theta | \mathcal{D})$

Nếu chúng ta muốn dự đoán một vector của các quan sát mới $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$ , tôi nghĩ chúng ta nên cố gắng để có được những tiên đoán sau sử dụng công thức này

p (N | D) = = \int p (θ | D) p (N | θ) d θ = = \int p (θ | D) Π_{Tôi = = 1}^{n} p ({\tilde{y}}_{Tôi} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$ mà không phải là bằng

Π_{Tôi = = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{Tôi} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$ vì vậy các quan sát dự đoán không độc lập, phải không?

Nói rằng Beta ( ) và nhị thức ( ) cho một cố định $\theta | \mathcal{D} \sim$ $a,b$ $p(y_i | \theta) \sim$ $n, \theta$ $n$ . Trong trường hợp này, nếu tôi muốn mô phỏng 6 mới , nếu tôi hiểu được điều này một cách chính xác, nó sẽ là sai lầm để mô phỏng 6 trận hòa độc lập từ phân phối Beta-nhị thức rằng tương ứng với dự báo sau cho một quan sát đơn lẻ. Điều này có đúng không? Tôi không biết làm thế nào để giải thích rằng các quan sát không độc lập bên lề và tôi không chắc mình hiểu điều này một cách chính xác. $\tilde{y}$

Mô phỏng từ các dự đoán sau

Nhiều khi chúng tôi mô phỏng dữ liệu từ dự đoán sau, chúng tôi thực hiện theo sơ đồ này:

Cho từ 1 đến : $b$ $B$

1) Mẫu từ . $\theta^{(b)}$ $p(\theta | \mathcal{D})$

2) Sau đó mô phỏng dữ liệu mới từ . $\mathcal{N}^{(b)}$ $p(\mathcal{N} | \theta^{(b)})$

Tôi hoàn toàn không biết làm thế nào để chứng minh chương trình này hoạt động, mặc dù nó có vẻ trực quan. Ngoài ra, điều này có một tên? Tôi đã cố gắng tìm kiếm một lời biện minh và tôi đã thử các tên khác nhau, nhưng tôi không có may mắn.

Cảm ơn!

bayesian prediction

— Fred L
nguồn

Tôi đã hỏi một câu hỏi tương tự tại stats.stackexchange.com/questions/72570/, nhưng có vẻ như bạn đã nhận được nhiều phiếu bầu hơn cho đến nay.

— Giăng

4

Giả sử $X_1,\dots,X_n,X_{n+1}$ là có điều kiện độc lập cho rằng . Sau đó, $\Theta=\theta$

f_{X_{n + 1} | X_{1}, Giáo dục, X_{n}} (x_{n + 1} | x_{1}, Giáo dục, x_{n}) = = \int f_{X_{n + 1}, Θ | X_{1}, Giáo dục, X_{n}} (x_{n + 1}, θ | x_{1}, Giáo dục, x_{n}) d θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= = \int f_{X_{n + 1} | Θ, X_{1}, Giáo dục, X_{n}} (x_{n + 1} | θ, x_{1}, Giáo dục, x_{n}) f_{Θ | X_{1}, Giáo dục, X_{n}} (θ | x_{1}, Giáo dục, x_{n}) d θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

Trong đó sự bình đẳng đầu tiên sau khỏi luật pháp của tổng xác suất, thứ hai sau từ sự cai trị sản phẩm, và thứ ba từ giả định độc lập có điều kiện: cho giá trị của

, chúng ta không cần các giá trị của

để xác định phân phối của

.

= = \int f_{X_{n + 1} | Θ} (x_{n + 1} | θ) f_{Θ | X_{1}, Giáo dục, X_{n}} (θ | x_{1}, Giáo dục, x_{n}) d θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$

Θ

$\Theta$

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

X_{n + 1}

$X_{n+1}$

$i=1,\dots,N$ $\theta^{(i)}$ $\Theta\mid X_1=x_1,\dots,X_n=x_n$ $x_{n+1}^{(i)}$ $X_{n+1}\mid\Theta=\theta^{(i)}$ $\{x_{n+1}^{(i)}\}_{i=1}^N$ $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$

— thiền học
nguồn

θ^{(i)}

$\theta^{\left(i\right)}$

x_{n + j}

$x_{n+j}$

2

Tôi sẽ cố gắng đi qua trực giác đằng sau việc tạo ra phân phối dự báo sau từng bước.

$y$ $p(y|\theta)$ $\tilde y$ $\tilde y$ $y$ $\theta$ $\theta$ $\theta$ $p(\theta|y)$ $\tilde y$ $y$ $\theta$ $y$

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

$\tilde y$

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

$\Theta$ $\theta$

$p(\tilde y|y)$

cho s = 1,2, ..., S làm

$\theta^{(s)}$ $p(\theta|y)$

vẽ tranh $\tilde y^{(s)}$ $p(\tilde y|\theta^{(s)})$

$p(\theta|y)$

$p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ $\theta^{(s)}$ $p(\theta|y)$ $\tilde y^{(s)}$ $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ sản lượng mẫu từ phân phối của doanh . Theo sau đó, các giá trị được lấy mẫu $p(\tilde y, \theta|y)$ $\tilde y^{(s)}, s=1,2,...,S$ $p(\tilde y|y)$

— baruuum
nguồn

1

Để giải quyết câu hỏi đầu tiên của bạn: có, các quan sát không độc lập nếu bạn không biết giá trị của $\theta$ $\tilde{y}_1$ $\theta$

— hr0nix
nguồn