Bất cứ ai có thể giải thích các linh mục liên hợp trong các điều khoản đơn giản nhất có thể?

Tôi đã cố gắng để hiểu ý tưởng của các linh mục liên hợp trong thống kê Bayes trong một thời gian nhưng tôi chỉ đơn giản là không hiểu nó. Bất cứ ai cũng có thể giải thích ý tưởng bằng các thuật ngữ đơn giản nhất có thể, có lẽ sử dụng "Gaussian trước" làm ví dụ?

Một ưu tiên cho một tham số hầu như sẽ luôn có một số dạng chức năng cụ thể (nói chung được viết theo mật độ). Giả sử chúng ta giới hạn bản thân trong một họ phân phối cụ thể, trong trường hợp đó, việc chọn trước giảm bớt việc chọn tham số của họ đó.

Ví dụ, hãy xem xét một mô hình bình thường $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ . Để đơn giản, chúng ta cũng lấy $\sigma^2$ như đã biết. Phần này của mô hình - mô hình cho dữ liệu - xác định hàm khả năng.

Để hoàn thiện mô hình Bayesian của chúng tôi, ở đây chúng ta cần một trước khi cho $\mu$ .

Như đã đề cập ở trên, thường chúng ta có thể chỉ định một số gia đình phân phối cho trước của chúng tôi cho và sau đó chúng tôi chỉ phải chọn các thông số của phân phối (ví dụ, thường thông tin trước khi có thể khá mơ hồ - như khoảng nơi chúng tôi muốn xác suất để tập trung - thay vì ở dạng chức năng rất cụ thể, và chúng ta có thể có đủ tự do để mô hình hóa những gì chúng ta muốn bằng cách chọn các tham số - nói để khớp với giá trị trung bình và phương sai trước đó).$\mu$

Nếu nó quay ra rằng sau cho là từ cùng một gia đình như trước, sau đó trước khi được cho là "liên hợp".$\mu$

(Điều khiến nó trở nên liên hợp là cách nó kết hợp với khả năng)

Vì vậy, trong trường hợp này, chúng ta hãy trước Gaussian cho (nói μ ~ N ( θ , τ 2 ) ). Nếu chúng ta làm được điều đó, chúng ta thấy rằng sau cho μ cũng là Gaussian. Do đó, Gaussian trước là liên hợp trước cho mô hình của chúng tôi ở trên.$\mu$$\mu\sim N(\theta,\tau^2)$$\mu$

Đó là tất cả những gì thực sự có - nếu hậu thế đến từ cùng một gia đình như trước, thì đó là một liên hợp trước.

Trong các trường hợp đơn giản, bạn có thể xác định một liên hợp trước bằng cách kiểm tra khả năng. Ví dụ, xem xét khả năng nhị thức; bỏ các hằng số, nó trông giống như mật độ beta trong ; và do cách kết hợp sức mạnh của p và ( 1 - p ) , nó sẽ nhân với một phiên bản beta trước khi đưa ra một sản phẩm có sức mạnh của p và ( 1 - p ) ... vì vậy chúng ta có thể thấy ngay từ khả năng beta sẽ là một liên hợp trước cho p trong khả năng nhị thức.$p$$p$$(1-p)$$p$$(1-p)$$p$

Trong trường hợp Gaussian, dễ dàng thấy rằng điều đó sẽ xảy ra bằng cách xem xét mật độ log và khả năng log; các loga sẽ bậc hai trong và tổng của hai quadratics là bậc hai, do đó, một bậc hai log-trước + bậc hai loga đưa ra một sau bậc hai (mỗi hệ số của nhiệm kỳ thứ tự cao nhất tất nhiên sẽ là tiêu cực).$\mu$

Nếu mô hình của bạn thuộc về một gia đình theo cấp số nhân , có nghĩa là, nếu mật độ của phân phối có dạng

$$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$$ đối với một vớibiện pháp thống trị cho(Lebesgue, đếm, & tc.), nơi$t\cdot s$ biểu thị một vô hướng sản phẩm trên$\mathbb{R}^d$ và $$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$$ là chức năng đo lường được, các priors liên hợp trên$\theta$ được xác định bởi mật độ của mẫu $$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$$ [đối với biện pháp thống trị được lựa chọn tùy ý $\text{d}\nu$ trên $\Theta$ ] với $$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$$ và$\lambda\in\Lambda\subset\mathbb{R}_+$ ,$\xi\in\Xi\subset \lambda T(\mathcal{X})$

Sự lựa chọn của các biện pháp thống trị là quyết định cho gia đình của các linh mục. Ví dụ, nếu người ta phải đối mặt với khả năng trung bình bình thường đối với $\mu$ như trong câu trả lời của Glen_b , thì chọn biện pháp Lebesgue $\text{d}\mu$ làm biện pháp thống trị dẫn đến các linh mục bình thường được liên hợp. Nếu thay vào đó người ta chọn $(1+\mu^2)^{-2}\text{d}\mu$ là biện pháp chiếm ưu thế, các priors liên hợp nằm trong gia đình của các bản phân phối với mật độ

$$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$$ với sự tôn trọng để đo lường thống trị này, và do đó không còn bình thường priors. Khó khăn này về cơ bản giống như việc chọn một tham số cụ thể về khả năng và lựa chọn biện pháp Lebesgue cho tham số hóa này. Khi phải đối mặt với một hàm khả năng, không có thước đo chi phối (hoặc nội tại hoặc tham chiếu) vốn có trên không gian tham số.

Bên ngoài bối cảnh gia đình theo cấp số nhân này, không có gia đình phân phối không tầm thường với sự hỗ trợ cố định cho phép các linh mục liên hợp. Đây là hậu quả của bổ đề Darmois-Pitman-Koopman .

Tôi thích sử dụng khái niệm "hạt nhân" của một bản phân phối. Đây là nơi bạn chỉ để lại trong các phần phụ thuộc vào tham số. Một vài ví dụ đơn giản.

Kernel bình thường

$$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$$ Trong trường hợp $K$ là "liên tục bình thường hóa" $K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$ Kết nối với các thông số / sai tiêu chuẩn trung bình là$E(\mu|a,b)=-\frac{b}{2a}$ and $Var(\mu|a,b)=-\frac{1}{2a}$

$$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$$ Where $K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

When we look at the likelihood function, we can do the same thing, and express it in "kernel form". For example with iid data

$$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$$

For some constant $Q$ and some function $f(\mu)$. If we can recognise this function as a kernel, then we can create a conjugate prior for that likelihood. If we take the normal likelihood with unit variance, the above looks like

$$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$$

where $a=-\frac{n}{2}$ and $b=\sum_{i=1}^n x_i$ and $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

This likelihood function has the same kernel as the normal distribution for $\mu$, so a conjugate prior for this likelihood is also the normal distribution.

$$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$$ The posterior is then $$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$$ Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

For a given distribution family $D_{lik}$ of the likelihood (e.g. Bernoulli),

if the prior is of the same distribution family $D_{pri}$ as the posterior (e.g. Beta),

then $D_{pri}$ and $D_{lik}$ are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: $\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$