Hiểu về liên hợp Beta trước khi suy luận Bayes về tần suất

11

Sau đây là một đoạn trích từ Giới thiệu về Thống kê Bayes của Bolstad .

Đối với tất cả các chuyên gia của bạn ngoài kia, điều này có thể là tầm thường nhưng tôi không hiểu làm thế nào tác giả kết luận rằng chúng ta không phải thực hiện bất kỳ tích hợp nào để tính xác suất sau cho một số giá trị của . Tôi hiểu biểu thức thứ hai là tỷ lệ và nơi tất cả các thuật ngữ xuất phát ( khả năng x Ưu tiên) . Hơn nữa, tôi hiểu, chúng ta không phải lo lắng về mẫu số vì chỉ có tử số là tỷ lệ thuận. Nhưng chuyển sang phương trình thứ ba , không phải chúng ta đã quên về mẫu số của Quy tắc Bayes sao? Nó đã đi đâu? Và giá trị được tính bởi các hàm Gamma, đó không phải là hằng số sao? Không hằng số hủy bỏ trong định lý Bayes? $\pi$

— Jenna Maiz
nguồn

5

Chỉ có một hằng số khả dĩ, cụ thể là hằng số làm cho hàm có mật độ xác suất.

— Tây An

10

Vấn đề là chúng ta biết tỷ lệ sau là gì và điều đó xảy ra đến mức chúng ta không cần thực hiện tích hợp để lấy mẫu số (không đổi), bởi vì chúng ta nhận ra rằng phân phối có hàm mật độ xác suất tỷ lệ với (chẳng hạn như sau) là bản phân phối beta. Vì hằng số chuẩn hóa cho bản beta beta như vậy là , chúng tôi nhận được bản pdf sau mà không cần tích hợp. Và đúng vậy, hằng số chuẩn hóa trong định lý Bayes là một hằng số (được cung cấp dữ liệu quan sát và giả định trước) giống như hằng số chuẩn hóa cho mật độ sau. $x^{\alpha-1} \times (1-x)^{\beta-1}$ $\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

— Bjorn
nguồn

8

Các thiết lập

Bạn có mô hình này: Mật độ là

\begin{aligned} p & \sim beta (α, β) \\ x | p & \sim binomial (n, p) \end{aligned}

$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$

f (p) = \frac{1}{B (α, β)} p^{α - 1} (1 - p)^{β - 1}

$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$

g (x | p) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$

\frac{1}{B (α, β)} = \frac{Γ (α + β)}{Γ (α) Γ (β)} .

$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$

Phiên bản ngầm

Hiện nay. Phân bố sau tỷ lệ thuận với trước nhân với khả năng . Chúng ta có thể bỏ qua các hằng số (tức là những thứ không ), mang lại: $f$ $g$ $p$

\begin{aligned} h (p | x) & \propto f (p) g (p | x) \\ = p^{α - 1} (1 - p)^{β - 1} p^{x} p^{n - x} \\ = p^{α + x - 1} (1 - p)^{β + n - x - 1} . \end{aligned}

$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$

Điều này có 'hình dạng' của phân phối beta với các tham số và và chúng tôi biết hằng số chuẩn hóa tương ứng cho phân phối beta với các tham số đó là: . Hoặc, về mặt chức năng gamma, Nói cách khác, chúng ta có thể làm tốt hơn một chút so với mối quan hệ tỷ lệ mà không cần thêm bất kỳ công việc nào và đi thẳng đến đẳng thức: $\alpha + x$ $\beta + n - x$ $1 / B(\alpha + x, \beta + n - x)$

\frac{1}{B (α + x, β + n - x)} = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} .

$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$

h (p | x) = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} .

$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$

Vì vậy, người ta có thể sử dụng kiến thức về cấu trúc của bản phân phối beta để dễ dàng khôi phục một biểu thức cho hậu thế, thay vì phải trải qua một số tích hợp lộn xộn và tương tự.

Nó sắp xếp thành một hậu thế đầy đủ bằng cách hủy bỏ các hằng số chuẩn hóa của phân phối chung, điều này có thể gây nhầm lẫn.

Phiên bản rõ ràng

Bạn cũng có thể nghiền mọi thứ theo thủ tục, có thể rõ ràng hơn.

Nó không thực sự dài hơn nhiều. Lưu ý rằng chúng ta có thể biểu thị phân phối chung là và phân phối biên của là

\begin{aligned} f (p) g (x | p) = \frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

x

$x$

\begin{aligned} \int_{0}^{1} f (p) g (x | p) d p & = \frac{1}{B (α, β)} (\binom{n}{x}) \int_{0}^{1} p^{α + x - 1} (1 - p)^{β + n - x - 1} d p \\ = \frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n - x)} \end{aligned}

$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$

Vì vậy, chúng ta có thể biểu thị hậu thế bằng định lý Bayes bằng giống như những gì chúng ta đã nhận trước đây.

\begin{aligned} h (p | x) & = \frac{f (p) g (x | p)}{\int_{0}^{1} f (p) g (x | p) d p} \\ = \frac{\frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1}}{\frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n)}} \\ = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

— jtobin
nguồn

7

Nhận xét chung

Để làm cho câu trả lời được đưa ra bởi @ Bjorn rõ ràng hơn một chút và đồng thời tổng quát hơn, chúng ta nên nhớ rằng chúng ta đã đến Định lý Bayes từ

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Bayes thereom)

Trong đó đại diện cho dữ liệu được quan sát và tham số chưa biết của chúng tôi, chúng tôi muốn đưa ra các suy luận xác suất về - trong trường hợp câu hỏi, tham số là tần số không xác định . Bây giờ chúng ta đừng lo lắng liệu chúng ta đang nói về vectơ hay vô hướng để giữ cho nó đơn giản. $X$ $\theta$ $\pi$

Marginalization trong trường hợp liên tục dẫn đến

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

trong đó phân phối chung bằng với như chúng ta đã thấy ở trên. Đó là một hằng số kể từ sau khi 'tích hợp' tham số, nó chỉ phụ thuộc vào các số hạng không đổi . $p(X,\theta)$ $likelihood \times prior$

Do đó, chúng ta có thể định dạng lại Định lý Bayes như

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ với $Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

và do đó đi đến hình thức tỷ lệ thông thường của Định lý Bayes .

Áp dụng cho vấn đề một tay

Bây giờ chúng tôi đã sẵn sàng chỉ cần cắm vào những gì chúng tôi biết vì trong trường hợp câu hỏi có dạng $likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

trong đó , và trong đó thu thập các thuật ngữ không đổi từ khả năng nhị thức và beta trước. $a' = a+y$ $b' = b+n-y$ $A = \frac{1}{B(a,b)}\binom{n}{y}$

Bây giờ chúng ta có thể sử dụng câu trả lời do @ Bjorn đưa ra để thấy rằng câu này tích hợp với hàm Beta với tập hợp các số hạng không đổi sao cho $B(a',b')$ $A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

Lưu ý rằng mọi thuật ngữ không đổi trong phân phối chung sẽ luôn bị loại bỏ, vì nó sẽ xuất hiện trong người đề cử và mẫu số cùng một lúc (xem câu trả lời được đưa ra bởi @jtobin) vì vậy chúng tôi thực sự không phải bận tâm.

Do đó, chúng tôi nhận ra rằng phân phối sau của chúng tôi thực tế là phân phối beta , nơi chúng tôi có thể chỉ cần cập nhật các tham số trước đó và để đến sau. Đây là lý do tại sao beta phân phối trước được gọi là liên hợp trước . $a' = a+y$ $b' = b+n-y$

— viết
nguồn

Lý do này tương tự như phiên bản ngầm của jtobin. Chúng tôi chỉ xem xét các phần của thời gian có khả năng trước đó có chứa tham số và thu thập mọi thứ khác trong hằng số chuẩn hóa. Do đó, chúng tôi xem việc tích hợp chỉ là bước cuối cùng hợp pháp, bởi vì các hằng số hủy bỏ như jtobin đã thể hiện trong phiên bản rõ ràng của anh ấy.

— viết