Tôi có thể lấy mẫu dữ liệu lớn ở mỗi lần lặp MCMC không?

Vấn đề: Tôi muốn thực hiện lấy mẫu Gibbs để suy ra một số hậu nghiệm trên một tập dữ liệu lớn. Thật không may, mô hình của tôi không đơn giản và do đó việc lấy mẫu quá chậm. Tôi sẽ xem xét các cách tiếp cận đa dạng hoặc song song, nhưng trước khi đi xa đến thế ...

Câu hỏi: Tôi muốn biết liệu tôi có thể lấy mẫu ngẫu nhiên (có thay thế) từ tập dữ liệu của mình ở mỗi lần lặp Gibbs hay không, để tôi có ít trường hợp học hỏi hơn ở mỗi bước.

Trực giác của tôi là ngay cả khi tôi thay đổi các mẫu, tôi sẽ không thay đổi mật độ xác suất và do đó mẫu Gibbs không nên chú ý đến mánh khóe. Tôi có đúng không Có một số tài liệu tham khảo của những người đã làm điều này?

— alberto
nguồn

Bên cạnh đó: một ý tưởng khác sẽ là thực hiện nhiều phân tích trên các mẫu con ngẫu nhiên của bộ dữ liệu lớn. Bằng cách đó bạn cũng có thể xác nhận chéo.

— phỏng đoán

Tôi không thể trả lời chính xác câu hỏi của bạn với bất kỳ cơ quan nào (mặc dù nghi ngờ của tôi là bạn sẽ chỉ tăng lỗi xấp xỉ với Monte Carlo), sự thật đáng buồn là đây chỉ là một khía cạnh đáng tiếc của các phân tích MCMC của Bayesian: chúng là tính toán đắt. Nhận xét @conjectures là một ý tưởng tuyệt vời, nhưng không thực sự đi vào cốt lõi của vấn đề: quá tốn kém để vẽ tất cả các mẫu đó cho mỗi cá nhân. Đề nghị của tôi là viết mã C của riêng bạn cho công việc nặng nhọc (Rcpp trong R, Cython trong Python, v.v.) và cũng song song (khi không có phụ thuộc chi nhánh).

@conjectures Điều này nghe giống như túi bootstraps của Michael Jordan.

— jaradniemi

Tôi sẽ đề nghị thay đổi bộ lấy mẫu của bạn để tránh sự gia tăng biến tiềm ẩn hoàn toàn. Bạn sẽ không còn có bộ lấy mẫu Gibbs nữa, nhưng thuật toán Metropolis-Hastings với đề xuất dựa trên một xấp xỉ bình thường với khả năng sẽ hoạt động tốt. Xem Phần 16.4 của phiên bản 2 của Phân tích dữ liệu Bayes.

— jaradniemi

Đây là một lĩnh vực nghiên cứu tích cực mà tôi không biết rõ để tóm tắt chính xác cho bạn. Xem ví dụ jmlr.org/proceedings/ con / v32 / bardenet14.pdf và arxiv.org/pdf/1304.5299v4.pdf

— Andrew M

Về các chiến lược lấy mẫu con: ví dụ, hãy xem xét để có hai quan sát và và xem xét đưa một số linh mục vào trung bình và phương sai. Đặt , hậu thế mà chúng tôi muốn đánh giá là COnsider bây giờ là biến nhị thức . Nếu chúng tôi đã chọn , nếu chúng tôi đã chọn , thì hậu thế mới là trong đó $X_1 \sim N(\mu_1, \sigma_1^2)$ $X_2 \sim N(\mu_2,\sigma_2^2)$ $\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$

f (θ | X_{1}, X_{2}) \propto f (X_{1} | θ) f (X_{2} | θ) f (θ)

$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$

δ \sim B (0.5)

$\delta \sim B(0.5)$

δ = 0

$\delta=0$

X_{1}

$X_1$

δ = 1

$\delta =1$

X_{2}

$X_2$

f (θ, δ | X_{1}, X_{2}) \propto f (X_{1}, X_{2} | δ, θ) f (θ) f (δ)

$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$

f (X_{1}, X_{2} | δ, θ) = f (X_{1} | θ)^{δ} f (X_{2} | θ)^{1 - δ}

$f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$ và . Bây giờ nếu bạn muốn lấy mẫu bước Gibbs, bạn phải tính và vì . Nếu bạn không sử dụng Metropolis Hastings thì bạn đề xuất một trạng thái mới và bạn chỉ phải tính một trạng thái giữa và , trạng thái được liên kết với các trạng thái được đề xuất nhưng bạn phải tính toán một giữa

f (δ) = 0.5

$f(\delta) = 0.5$

δ

$\delta$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

P (δ = 1) = \frac{f (X_{1} | θ)}{f (X_{1} | θ) + f (X_{2} | θ)}

$P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$

δ^{*}

$\delta^*$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

δ

$\delta$

δ

$\delta$

— niandra82
nguồn