Có bao nhiêu mặt của một cái chết? Suy luận Bayes trong JAGS

Vấn đề

Tôi muốn thực hiện một số suy luận về một hệ thống tương tự để chết với một số mặt không xác định. Con súc sắc được lăn nhiều lần, sau đó tôi muốn suy ra phân phối xác suất trên một tham số tương ứng với số cạnh của con súc sắc, θ.

Trực giác

Nếu sau 40 cuộn bạn đã quan sát thấy 10 màu đỏ, 10 màu xanh lam, 10 màu xanh lá cây và 10 màu vàng, thì có vẻ như nên đạt cực đại ở mức 4 và độ lệch của mỗi bên là phân phối tập trung vào 1/4.

có giới hạn dưới tầm thường, là số lượng các mặt khác nhau được quan sát trong dữ liệu.

Giới hạn trên vẫn chưa được biết. Có thể có một mặt thứ năm có thể có độ lệch thấp. Càng nhiều dữ liệu bạn quan sát thiếu loại thứ năm, xác suất sau = 4 càng cao.

Tiếp cận

Tôi đã sử dụng JAGS cho các vấn đề tương tự (thông qua R và rjags) có vẻ phù hợp ở đây.

Đối với dữ liệu, hãy nói obs <- c(10, 10, 10, 10)tương ứng với các quan sát trong ví dụ trên.

Tôi nghĩ rằng các quan sát nên được mô hình hóa với một phân phối đa quốc gia obs ~ dmulti(p, n), ở đâu p ~ ddirch(alpha)và n <- length(obs).

được liên kết với số lượng danh mục ngụ ý alpha, vậy làm cách nào tôi có thể mô hình hóa alphađể bao gồm số lượng danh mục khác nhau có thể?

Lựa chọn thay thế?

Tôi khá mới đối với các phân tích Bayes vì vậy có thể hoàn toàn sủa sai cây, có mô hình thay thế nào có thể cung cấp những hiểu biết khác nhau về vấn đề này không?

Cảm ơn nhiều! David

r probability bayesian jags

— davipatti
nguồn

Đây là một vấn đề thú vị được gọi là "lấy mẫu loài", đã nhận được rất nhiều sự chú ý trong nhiều năm qua và bao gồm nhiều vấn đề ước tính khác (chẳng hạn như đánh dấu lại). Có thể nói, JAGS sẽ không giúp bạn trong trường hợp này - JAGS không thể xử lý chuỗi Markov với kích thước thay đổi qua các lần lặp. Người ta phải truy vấn sơ đồ MCMC được thiết kế cho các vấn đề như vậy, chẳng hạn như MCMC nhảy đảo ngược.

Đây là một cách tiếp cận phù hợp với mô hình cụ thể mà bạn đang mô tả, lần đầu tiên tôi bắt gặp trong tác phẩm của Jeff Miller (được tạo ra ).

Phần I (Câu hỏi gốc)

Một giả định tôi sẽ đưa ra là một quan sát cho một danh mục nhất định ngụ ý sự tồn tại của các danh mục có thứ hạng thấp hơn. Đó là, quan sát một cuộn chết ở bên 9 ngụ ý sự tồn tại của các bên 1-8. Nó không phải là theo cách này - các loại có thể tùy ý - nhưng tôi sẽ giả định như vậy trong ví dụ của tôi. Điều này có nghĩa là 0 giá trị có thể quan sát được, trái ngược với các vấn đề ước tính loài khác.

Giả sử chúng ta có một mẫu đa cực,

Y = {y_{1}, y_{2}, \dots, y_{m}, y_{m + 1}, \dots, y_{n}} \sim M ({p_{1}, p_{2}, \dots, p_{m}, p_{m + 1}, \dots, p_{n}})

$Y = \{y_1, y_2, \dots, y_m, y_{m+1}, \dots, y_{n} \} \sim \mathcal{M}(\{p_1, p_2, \dots, p_m, p_{m+1}, \dots, p_n\})$

$m$ $n$ $\{y_{m+1},\dots,y_{n}\}$ $n$ $[1, \infty)$

n \sim P (λ), n > 0

$n \sim \mathcal{P}(\lambda), n > 0$

Một ưu tiên thuận tiện cho các xác suất đa quốc gia là Dirichlet,

P = {p_{1}, \dots, p_{n}} \sim D ({α_{1}, \dots, α_{n}})

$P = \{ p_1, \dots, p_n \} \sim \mathcal{D}(\{ \alpha_1, \dots, \alpha_n \})$

$\alpha_1 = \alpha_2 = \dots = \alpha_n = \tilde{\alpha}$

Để làm cho vấn đề trở nên dễ xử lý hơn, chúng tôi gạt ra các trọng số:

p (Y | \tilde{α}, n) = \int_{P} p (Y | P, n) p (P | \tilde{α}, n) d P

$p(Y|\tilde{\alpha}, n) = \int_P p(Y|P, n)p(P|\tilde{\alpha}, n) dP$

Mà trong trường hợp này dẫn đến phân phối Dirichlet-multinomial được nghiên cứu kỹ lưỡng . Mục tiêu là sau đó để ước tính hậu thế có điều kiện,

p (n | Y, \tilde{α}, λ) = \frac{p (Y | n, \tilde{α}) p (n | λ)}{p (Y | \tilde{α}, λ)}

$p(n|Y, \tilde{\alpha}, \lambda) = \frac{ p(Y|n, \tilde{\alpha}) p(n|\lambda) }{ p(Y|\tilde{\alpha}, \lambda) }$

$\tilde{\alpha}$ $\lambda$

p (Y | \tilde{α}, λ) = \sum_{n = 1}^{\infty} p (Y | n, \tilde{α}) p (n | λ)

$p(Y|\tilde{\alpha}, \lambda) = \sum_{n=1}^\infty p(Y|n, \tilde{\alpha}) p(n|\lambda)$

$p(Y|n, \tilde{\alpha}) = 0$ $n < m$

p (Y | \tilde{α}, λ) = \frac{1}{(e^{λ} - 1)} \sum_{n = m}^{\infty} \frac{Γ (n \tilde{α}) \prod_{i = 1}^{n} Γ (y_{i} + \tilde{α})}{Γ (n \tilde{α} + \sum_{i = 1}^{n} y_{i}) Γ (\tilde{α})^{n}} \cdot \frac{λ^{n}}{n!}

$p(Y|\tilde{\alpha}, \lambda) = \frac{1}{(e^\lambda - 1)} \sum_{n=m}^\infty \frac{\Gamma(n\tilde{\alpha})\prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})}{\Gamma(n\tilde{\alpha} + \sum_{i=1}^n y_i) \Gamma(\tilde{\alpha})^n} \cdot \frac{\lambda^n}{n!}$

Dẫn tới:

p (n | Y, \tilde{α}, λ) = \frac{Γ (n \tilde{α}) \prod_{i = 1}^{n} Γ (y_{i} + \tilde{α})}{Γ (n \tilde{α} + \sum_{i = 1}^{n} y_{i}) Γ (\tilde{α})^{n}} \cdot \frac{λ^{n}}{n!} \cdot {(\sum_{j = m}^{\infty} \frac{Γ (j \tilde{α}) \prod_{i = 1}^{j} Γ (y_{i} + \tilde{α})}{Γ (j \tilde{α} + \sum_{i = 1}^{j} y_{i}) Γ (\tilde{α})^{j}} \cdot \frac{λ^{j}}{j!})}^{- 1}

$p(n|Y,\tilde{\alpha}, \lambda) = \frac{\Gamma(n\tilde{\alpha})\prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})}{\Gamma(n\tilde{\alpha} + \sum_{i=1}^n y_i) \Gamma(\tilde{\alpha})^n} \cdot \frac{\lambda^n}{n!} \cdot \left(\sum_{j=m}^\infty \frac{\Gamma(j\tilde{\alpha})\prod_{i=1}^j \Gamma(y_i + \tilde{\alpha})}{\Gamma(j\tilde{\alpha} + \sum_{i=1}^j y_i) \Gamma(\tilde{\alpha})^j} \cdot \frac{\lambda^j}{j!}\right)^{-1}$

$[m, \infty)$

Đây là một ví dụ cẩu thả trong R:

logPosteriorN <- function(max, Y, lambda, alpha){
    m <- length(Y)
    sumy <- sum(Y)
    pp <- sapply(1:max, function(j){
        prior <- log(lambda)*j - log(exp(lambda)-1) - lgamma(j+1)
        posterior <- lgamma(alpha*j) + sum(lgamma(Y + alpha)) - j*lgamma(alpha) - lgamma(sumy + j*alpha)
        if( j > m ) { posterior <- posterior + (j-m)*lgamma(alpha) } 
        else if( j < m ) { posterior = -Inf }
        prior + posterior
        })
    evidence <- log(sum(exp(pp))) # there's no check that this converges
    pp - evidence
}

## with even representation of sides
Y <- c(10, 10, 10, 10)
post <- logPosteriorN(30, Y, 10, 1.2)
plot(1:30, exp(post), pch=19, type="b")

## with uneven representation of sides
Y <- c(1, 2, 1, 0, 0, 2, 1, 0, 1)
post <- logPosteriorN(30, Y, 10, 1.2)
plot(1:30, exp(post), pch=19, type="b")

$\tilde{\alpha}$ $n$ $\tilde{\alpha}$

Tất nhiên, đây là một cách tiếp cận để ước tính. Bạn sẽ dễ dàng tìm thấy những người khác (của hương vị Bayes và không Bayes) với một chút tìm kiếm.

Phần II (Trả lời nhận xét)

$Y = \{y_1, \dots, y_m, y_{m+1}, \dots, y_n \}$ $\Omega = \{\omega_1, \dots, \omega_m, \omega_{m+1}, \dots, \omega_n\}$

P r (Y | Ω, n) = \frac{Γ (\sum_{i = 1}^{n} y_{i} + 1)}{\prod_{i = 1}^{n} Γ (y_{i} + 1)} \prod_{i = 1}^{n} ω_{i}^{y_{i}}

$\mathrm{Pr}(Y|\Omega, n) = \frac{\Gamma(\sum_{i=1}^n y_i + 1)}{\prod_{i=1}^n \Gamma(y_i + 1) } \prod_{i=1}^n \omega_i^{y_i}$

$y \in \mathbb{N}$ $y_1 \dots y_m > 0$ $y_{m+1} \dots y_n = 0$ $n$ $n$

P r (n | λ) = \frac{λ^{n}}{(\exp {λ} - 1) n!}, n \in Z^{+}

$\mathrm{Pr}(n|\lambda) = \frac{\lambda^{n}}{(\exp\{\lambda\} - 1)n!},~n \in \mathbb{Z}^+$

$\Omega$ $\tilde{\alpha}$ $n$

P r (Ω | \tilde{α}, n) = \frac{Γ (n \tilde{α})}{Γ (\tilde{α})^{n}} \prod_{i = 1}^{n} ω_{i}^{\tilde{α} - 1}

$\mathrm{Pr}(\Omega|\tilde{\alpha}, n) = \frac{\Gamma(n\tilde{\alpha})}{\Gamma(\tilde{\alpha})^n} \prod_{i=1}^n \omega_i^{\tilde{\alpha}-1}$

P r (Y | \tilde{α}, n) = \int P r (Y | Ω, n) P r (Ω | \tilde{α}, n) = \frac{Γ (n \tilde{α})}{Γ (\sum_{i = 1}^{n} y_{i} + n \tilde{α}) Γ (\tilde{α})^{n}} \prod_{i = 1}^{n} Γ (y_{i} + \tilde{α})

$\mathrm{Pr}(Y|\tilde{\alpha}, n) = \int \mathrm{Pr}(Y|\Omega, n) \mathrm{Pr}(\Omega|\tilde{\alpha}, n) = \frac{\Gamma(n \tilde{\alpha})} {\Gamma(\sum_{i=1}^n y_i + n \tilde{\alpha}) \Gamma(\tilde{\alpha})^n} \prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})$

$n$ $i \in \{1 \dots n\}$ $j < i$ $m \leq n$ $Y$ $n-m$ $\mathcal{P}[Y]$

$n$

P r (P [Y] | \tilde{α}, n) = \frac{n!}{(n - m)!} P r (Y | \tilde{α}, n)

$\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, n) = \frac{n!}{(n-m)!} \mathrm{Pr}(Y|\tilde{\alpha}, n)$

$n$

P r (P [Y] | \tilde{α}, λ) = \sum_{j = m}^{\infty} P r (P [Y] | \tilde{α}, n) P r (n | λ)

$\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, \lambda) = \sum_{j=m}^{\infty} \mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, n) \mathrm{Pr}(n|\lambda)$

P r (n | P [Y], \tilde{α}, λ) = \frac{P r (P [Y] | n, \tilde{α}) P r (n | λ)}{P r (P [Y] | \tilde{α}, λ)}

$\mathrm{Pr}(n|\mathcal{P}[Y], \tilde{\alpha}, \lambda) = \frac{\mathrm{Pr}(\mathcal{P}[Y]|n, \tilde{\alpha}) \mathrm{Pr}(n|\lambda)}{\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, \lambda)}$

Chỉ cần cắm từ các định nghĩa ở trên. Một lần nữa, mẫu số là một chuỗi vô hạn sẽ hội tụ nhanh chóng: trong mô hình đơn giản này, không cần MCMC đưa ra một xấp xỉ đầy đủ.

Bằng cách sửa đổi mã R từ Phần I:

logPosteriorN_2 <- function(max, Y, lambda, alpha){
    m <- length(Y)
    sumy <- sum(Y)
    pp <- sapply(1:max, function(j){
        prior <- log(lambda)*j - log(exp(lambda)-1) - lgamma(j+1)
        likelihood <- lchoose(j, m) + lgamma(m + 1) + lgamma(alpha*j) + sum(lgamma(Y + alpha)) - j*lgamma(alpha) - lgamma(sumy + j*alpha)
        if( j > m ) { likelihood <- likelihood + (j-m)*lgamma(alpha) } 
        else if( j < m ) { likelihood = -Inf }
        prior + likelihood
        })
    evidence <- log(sum(exp(pp))) # there's no check that this converges
    pp - evidence
}

Y_1 <- rep(10, 15)
pos_1 <- logPosteriorN_2(50, Y_1, 6, 1)
plot(1:50, exp(pos_1))

— Giáo hoàng Nate
nguồn

Rất cám ơn câu trả lời rất đầy đủ của bạn. (Xin lỗi vì phản ứng rất chậm của tôi). Tôi đã trở lại với loại câu hỏi này và vẫn đang tiếp tục học toán. Trong hệ thống của tôi, các danh mục không phải là thứ tự, do đó, giả định rằng một quan sát cho một danh mục nhất định ngụ ý sự tồn tại của các danh mục có thứ hạng thấp hơn là không hợp lệ.

— davipatti

@davipatti Đã trả lời trong phần thứ hai.

— Giáo hoàng Nate