Phân phối beta có liên hợp trước không?

34

Tôi biết rằng phân phối beta được liên hợp với nhị thức. Nhưng liên hợp trước beta là gì? Cảm ơn bạn.

beta-distribution conjugate-prior

— Cân bằng Brash
nguồn

25

Có vẻ như bạn đã từ bỏ liên hợp. Chỉ để ghi lại, một điều mà tôi đã thấy mọi người đang làm (nhưng không nhớ chính xác ở đâu, xin lỗi) là một thông số lại như thế này. Nếu là iid có điều kiện, được đưa ra , sao cho , hãy nhớ rằng và Do đó, bạn có thể xác định lại khả năng theo các điều khoản của và và sử dụng như trước $X_1,\dots,X_n$ $\alpha,\beta$ $X_i\mid\alpha,\beta\sim\mathrm{Beta}(\alpha,\beta)$

E [X_{i} ∣ α, β] = \frac{α}{α + β} =: μ

$\mathbb{E}[X_i\mid\alpha,\beta]=\frac{\alpha}{\alpha+\beta} =: \mu$

V a r [X_{i} ∣ α, β] = \frac{α β}{(α + β)^{2} (α + β + 1)} =: σ^{2} .

$\mathbb{Var}[X_i\mid\alpha,\beta] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} =: \sigma^2 \, .$

μ

$\mu$

σ^{2}

$\sigma^2$

σ^{2} ∣ μ \sim U [0, μ (1 - μ)] μ \sim U [0, 1] .

$\sigma^2\mid\mu \sim \mathrm{U}[0,\mu(1-\mu)] \qquad \qquad \mu\sim\mathrm{U}[0,1] \, .$ Bây giờ bạn đã sẵn sàng để tính toán sau và khám phá nó bằng phương pháp tính toán yêu thích của bạn.

— Thiền
nguồn

4

Không, không phải MCMC điều này! Phép cầu phương này! chỉ có 2 tham số - cầu phương là "tiêu chuẩn vàng" cho các chiều sau nhỏ, cả về thời gian và độ chính xác.

— xác suất

3

Một tùy chọn khác là coi là thước đo độ chính xác và một lần nữa sử dụng làm giá trị trung bình. Điều này được thực hiện mọi lúc với các quy trình Dirichlet và phân phối beta là một trường hợp đặc biệt. Vì vậy, có thể ném gamma hoặc log-normal trước và đồng phục trên .

ψ = α + β

$\psi = \alpha + \beta$

μ = \frac{α}{α + β}

$\mu = \frac{\alpha}{\alpha + \beta}$

ψ

$\psi$

μ

$\mu$

— anh chàng

2

Để chắc chắn, đây không phải là liên hợp, đúng không?

— anh chàng

3

Chắc chắn không phải!

— Zen

Xin chào @Zen tôi đang xử lý vấn đề này ngay bây giờ, nhưng tôi mới ở Bayesian và tôi không chắc liệu tôi có hiểu ý tưởng đó không. Tôi đã tìm ra rằng bạn đang đề xuất tìm và sau đó sử dụng tính năng lặp lại, nhưng tất nhiên đó không phải là ý tưởng. Bạn có thể vui lòng giúp tôi hiểu không?

\int_{0}^{1} \frac{1}{μ (1 - μ} d μ

$\int_{0}^{1}{\frac{1}{\mu(1-\mu}}d\mu$

— Tiếng ồn đỏ

23

Vâng, nó có một liên hợp trước trong gia đình hàm mũ. Hãy xem xét ba tham số họ Đối với một số giá trị của điều này có thể tích hợp được, mặc dù tôi chưa tìm ra (tôi tin và nên hoạt động - tương ứng với các phân phối hàm mũ độc lập do đó chắc chắn hoạt động và cập nhật liên hợp liên quan đến việc tăng nên điều này cho thấy hoạt động tốt).

π (α, β ∣ a, b, p) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) .

$\pi(\alpha, \beta \mid a, b, p) \propto \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right).$

(a, b, p)

$(a, b, p)$

p \geq 0

$p \ge 0$

a < 0, b < 0

$a < 0, b < 0$

p = 0

$p = 0$

p

$p$

p > 0

$p > 0$

Vấn đề và ít nhất là một phần lý do không ai sử dụng nó, đó là tức là hằng số chuẩn hóa không có dạng bịt kín.

\int_{0}^{\infty} \int_{0}^{\infty} {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) = ?

$\int_0^\infty \int_0^\infty \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right) = ?$

— chàng
nguồn

À. Đó là vấn đề. Dù sao tôi cũng sẽ tìm kiếm một phiên bản không thông tin của liên hợp, vì vậy có vẻ như tôi cũng có thể bắt đầu với các linh mục thống nhất qua hai tham số. Cảm ơn.

— Cân bằng Brash

Bạn không cần bình thường hóa nếu bạn chỉ so sánh khả năng của Google

— Neil G

Tôi nghĩ rằng bạn cũng có thể thiếu hành động của trong thuật ngữ của bạn . Nó có lẽ phải là , v.v.

p

$p$

\exp

$\exp$

p a α

$pa\alpha$

— Neil G

@NeilG nằm trong , bạn chỉ cần diễn đạt mọi thứ theo thay vì . Làm chỉ là một sự phục hồi, nó không thay đổi gì cả. Không chắc chắn ý của bạn là "chỉ so sánh khả năng". Bạn không thể triển khai bộ lấy mẫu Gibbs trước mà không sử dụng cái gì đó như Metropolis, điều này sẽ giết chết lợi thế của liên hợp có điều kiện, hằng số chuẩn hóa phụ thuộc vào và sẽ đặt trước chúng hoặc ước tính chúng bằng các phương pháp khả năng, v.v. .

p

$p$

\exp

$\exp$

\log Γ (\dots)

$\log \Gamma(\cdots)$

Γ (\dots)

$\Gamma(\cdots)$

p a α

$pa\alpha$

a

$a$

b

$b$

— chàng trai

2

Tích phân @NeilG vượt quá và vì đó là các biến ngẫu nhiên.

α

$\alpha$

β

$\beta$

— anh chàng

9

Về lý thuyết nên có một liên hợp trước khi phân phối beta. Đây là vì

phân phối beta là một trong những phân phối gia đình theo cấp số nhân và
về lý thuyết, nó có thể được lấy từ trước. Xem, ví dụ, wikipedia , bài giảng của D Blei's về các gia đình theo cấp số nhân .

Tuy nhiên, việc phái sinh có vẻ khó khăn và để trích dẫn các gia đình theo cấp số nhân của Bouchard-Côte

Một quan sát quan trọng cần thực hiện là công thức này không phải lúc nào cũng mang lại một liên hợp trước đó có thể tính toán được.

Phù hợp với điều này, không có sự phân phối Beta nào trước đây trong A Compendium of Conjugate Priors của D Fink .

— Quá
nguồn

3

Việc tạo đạo hàm không khó - Xem câu trả lời của tôi: mathoverflow.net/questions/63496/ Khăn

— Neil G

3

Tôi không tin rằng có một phân phối "tiêu chuẩn" (nghĩa là gia đình hàm mũ) là liên hợp trước khi phân phối beta. Tuy nhiên, nếu có tồn tại thì nó sẽ phải là một bản phân phối bivariate.

Tôi không biết gì về câu hỏi này, nhưng tôi đã tìm thấy bản đồ liên hợp tiện dụng này có vẻ hỗ trợ câu trả lời của bạn: johndcook.com/conjugate_p Warrior_diagram.html

— Justin

Liên hợp trước là trong họ hàm mũ và có ba tham số - không phải hai.

— Neil G

1

@Neil, bạn chắc chắn đúng. Tôi đoán tôi nên nói rằng nó sẽ phải có ít nhất hai tham số.

-1: câu trả lời này rõ ràng sai trong tuyên bố rằng "liên hợp trước không tồn tại trong gia đình hàm mũ", như được thể hiện trong câu trả lời ở trên ...

— Jan Kukacka

3

Robert và Casella (RC) tình cờ mô tả gia đình của các linh mục liên hợp của bản phân phối beta trong Ví dụ 3.6 (tr 71 - 75) của cuốn sách của họ, Giới thiệu phương pháp Monte Carlo trong R , Springer, 2010. Tuy nhiên, họ trích dẫn kết quả mà không trích dẫn một nguồn.

Đã thêm vào để đáp ứng yêu cầu của gung để biết chi tiết. Nhà nước RC đó để phân phối , liên hợp trước là" ... có dạng $B(\alpha, \beta)$

π (α, β) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} x_{0}^{α} y_{0}^{β}

$\pi(\alpha,\beta) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} x_0^{\alpha} y_0^{\beta}$

$\{\lambda, x_0, y_0\}$

π (α, β | x) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} (x x_{0})^{α} ((1 - x) y_{0})^{β} . "

$\pi(\alpha,\beta \vert x) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} (xx_0)^{\alpha} ((1-x)y_0)^{\beta}."$

$\pi(\alpha,\beta \vert x)$ $x$

— người dùng37239
nguồn

2

π (α, β) \propto {(\frac{Γ (α + β)}{Γ (α) Γ (β)})}^{λ + 1} (x x_{0})^{α - 1} {(y_{0} (1 - x))}^{β - 1}

$\pi(\alpha, \beta) \propto \left( \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \right)^{\lambda +1} (x x_0)^{\alpha-1} \left(y_0 (1-x) \right)^{\beta-1}$

1

Tôi khiêm tốn đề nghị rằng áp phích gốc cập nhật bài đăng để chỉ ra rằng hậu thế được đưa ra trong sách giáo khoa là không chính xác, theo nhận xét của Fred Schoen (có thể dễ dàng xác minh).

— Đại bàng