MCMC và tăng dữ liệu

Tôi đã xem xét một câu hỏi tăng dữ liệu MCMC; hình thức chung của câu hỏi như sau:

Giả sử dữ liệu được thu thập trên một quy trình gợi ý và trước đó cho tham số tỷ lệ được đề xuất là . Dữ liệu được ghi lại và trình bày ở dạng điển hình (nghĩa là số lần xuất hiện của mỗi giá trị cho từ đến ), tuy nhiên, dữ liệu được thu thập không phân biệt đối xử trong trường hợp (nghĩa là tất cả các lần xuất hiện trong đó và được nhóm thành một loại). $X_{i} \sim \text{Pois}(\lambda)$ $\lambda \sim \text{Exp}(\lambda_{0})$ $X_{i}$ $0$ $n$ $X_{i} \leq 1$ $X_{i} = 0$ $X_{i} = 1$

Với dữ liệu, khả năng và mô tả trước ở trên, câu hỏi yêu cầu:

Hình thức sau của , $\lambda$
Số lần xuất hiện trong đó . $X_{i} = 0$

Tôi không thực sự chắc chắn làm thế nào để trả lời câu hỏi này, nhưng tôi biết rằng Gibbs Sampling có thể được sử dụng để tăng dữ liệu. Có ai có bất kỳ thông tin về làm thế nào điều này có thể được thực hiện?

BIÊN TẬP:

Tôi nên xác định rằng đó chủ yếu là phần thứ hai (số lần xuất hiện trong đó ) mà tôi không chắc chắn. Đối với phần đầu tiên (dạng sau của ), với khả năng và đề xuất trước đó, tôi đã suy luận (mặc dù tôi rất vui khi được sửa chữa): $X_{i} = 0$ $\lambda$

Được:

π (λ | \vec{x}) \propto p (\vec{x} | λ) \times p (λ)

$\pi(\lambda|\vec{x}) \propto p(\vec{x}|\lambda) \times p(\lambda)$

Vì vậy, đối với mô hình được đưa ra ở trên:

π (λ | \vec{x}) = \frac{λ^{\sum_{i = 1}^{n} x_{i}}}{\sum_{i = 1}^{n} x_{i}!} e^{- n λ} \times λ_{0} e^{- λ λ_{0}}

$\pi(\lambda|\vec{x}) = \frac{\lambda^{\sum_{i=1}^{n}x_{i}}}{\sum_{i=1}^{n}x_{i}!}e^{-n\lambda} \times \lambda_{0}e^{-\lambda \lambda_{0}}$

Đơn giản hóa sản lượng:

π (λ | \vec{x}) = \frac{λ^{\sum_{i = 1}^{n} x_{i}}}{\sum_{i = 1}^{n} x_{i}!} e^{- λ (n + λ_{0})} λ_{0}

$\pi(\lambda|\vec{x}) = \frac{\lambda^{\sum_{i=1}^{n}x_{i}}}{\sum_{i=1}^{n}x_{i}!}e^{-\lambda(n+\lambda_{0})}\lambda_{0}$

tỷ lệ thuận với (và do đó hình thức sau được đưa ra bởi):

π (λ | \vec{x}) \propto λ^{\sum_{i = 1}^{n} x_{i}} e^{- λ (n + λ_{0})} λ_{0}

$\pi(\lambda|\vec{x}) \propto \lambda^{\sum_{i=1}^{n}x_{i}}e^{-\lambda(n+\lambda_{0})}\lambda_{0}$

— người dùng9171
nguồn

Câu trả lời của bạn không giải thích cho thực tế rằng các quan sát bằng 0 và được kết hợp với nhau: những gì bạn đã tính là hậu nghiệm cho dữ liệu Poisson hoàn chỉnh, , thay vì dữ liệu tổng hợp hoặc hợp nhất , . $(X_1,\ldots,X_n)$ $(X_1^*,\ldots,X^*_n)$

Nếu chúng ta sử dụng quy ước xảy ra khi quan sát tương ứng với hoặc và quan sát đến , mật độ của vectơ quan sát là (sau một số đại số và hệ số) trong đó là số lần 'bằng một. Thuật ngữ cuối cùng giữa các dấu ngoặc ở trên là xác suất để có được 0 hoặc 1 trong trận hòa Poisson. $X_i^*=1$ $X_i=1$ $X_i=0$ $X_i^*=k>1$ $X_i=k$ $(X_1^*,\ldots,X^*_n)$

π (λ | x_{1}^{*}, \dots, x_{n}^{*}) \propto λ^{\sum_{i = 1}^{n} x_{i}^{*} I (x_{i}^{*} > 1)} \exp {- λ (λ_{0} + n)} \times {1 + λ}^{n_{1}}

$\pi(\lambda|x_1^*,\ldots,x^*_n) \propto \lambda^{\sum_{i=1}^n x_i^*\mathbb{I}(x_i^*>1)} \exp\{-\lambda(\lambda_0+n)\} \times \{1+\lambda\}^{n_1}$

n_{1}

$n_1$

x_{i}^{*}

$x_i^*$

Vì vậy, đây là sự thật / quan sát sau của bạn. Từ đó, bạn có thể thực hiện lấy mẫu Gibbs bằng cách

Tạo ra "các quan sát bị thiếu" đã cho và các quan sát, cụ thể là mô phỏng , được đưa ra bởi $\lambda$ $p(x_i|\lambda,x_i^*=1)$ $P (x_{i} = 0 | λ, x_{i}^{*} = 1) = 1 - P (x_{i} = 1 | λ, x_{i}^{*} = 1) = \frac{1}{1 + λ} .$ $\mathbb{P}(x_i=0|\lambda,x_i^*=1)=1-\mathbb{P}(x_i=1|\lambda,x_i^*=1)=\dfrac{1}{1+\lambda}\,.$
Tạo cung cấp "dữ liệu đã hoàn thành", tương đương với khi bạn đã tính toán. $\lambda$ $λ | x_{1}, \dots, x_{n} \sim G (\sum_{i} x_{i} + 1, n + λ_{0})$ $\lambda|x_1,\ldots,x_n \sim \mathcal{G}(\sum_i x_i + 1,n+\lambda_0)$

(Nếu bạn muốn biết thêm chi tiết, Ví dụ 9.7, tr.346, trong cuốn sách Phương pháp thống kê Monte Carlo của tôi với George Casella bao gồm chính xác cài đặt này.)

— Tây An
nguồn

(2) Bất kỳ thuật toán MCMC nào cũng có thể bắt đầu bằng các giá trị tùy ý vì chuỗi Markov được lặp lại, đây là ý tưởng cốt lõi đằng sau các phương pháp Monte Carlo của chuỗi Markov. Lưu ý rằng là một tham số của ưu tiên: nó được chọn trước và không thay đổi sau khi dữ liệu được quan sát.

λ_{0}

$\lambda_0$

— Tây An

(3) Khi lấy mẫu từ phân phối Gamma ở bước 2 của bộ lấy mẫu Gibbs, lưu ý rằng tôi dựa trên dữ liệu hoàn chỉnh, được tạo ở bước 1 của bộ lấy mẫu Gibbs. Do đó, tôi "biết" mọi giá trị của , ngay cả những giá trị mà . Hãy cố gắng hiểu sự khác biệt giữa 'và ', đây là ý tưởng cơ bản đằng sau nguyên tắc tăng dữ liệu.

x_{i}

$x_i$

x_{i}^{*} = 1

$x_i^*=1$

x_{i}

$x_i$

x_{i}^{*}

$x_i^*$

— Tây An

(1) Phần tương ứng với các quan sát được nhóm lại.

[{λ + 1} \exp (- λ)]^{n_{1}}

$[\{\lambda+1\}\exp(-\lambda)]^{n_1}$

— Tây An

(2) Đây là xác suất có điều kiện (vui lòng tự mình làm toán):

P (x_{i} = 0 | λ, x_{i}^{*} = 1) = P (x_{i} = 0, x_{i}^{*} = 1 | λ) / P (x_{i}^{*} = 1 | λ) = P (x_{i} = 0 | λ) / P (x_{i}^{*} = 1 | λ)

$\mathbb{P}(x_i=0|\lambda,x^∗_i=1)=\mathbb{P}(x_i=0,x^∗_i=1|\lambda)/\mathbb{P}(x^∗_i=1|\lambda)=\mathbb{P}(x_i=0|\lambda)/\mathbb{P}(x^∗_i=1|\lambda)$

— Tây An

(3) Lấy mẫu Gibbs hoạt động theo điều kiện. Vì vậy, ở bước 2, chúng tôi điều kiện trên

x_{i}

$x_i$ , chúng tôi đã mô phỏng ở bước 1 (và ở bước 1 trên chúng tôi đã mô phỏng ở bước 2). Điều này có nghĩa là những đó đã được biết (mặc dù chúng sẽ thay đổi ở lần lặp tiếp theo) và tổng là như vậy. Bạn chắc chắn cần phải đọc một số giới thiệu về Gibbs nếu điểm cơ bản này vẫn chưa rõ ràng với bạn ...

λ

$\lambda$ $x_i$

— Xi'an