Các định nghĩa của các linh mục bán liên hợp và liên hợp có điều kiện là gì?

Các định nghĩa của các linh mục bán liên hợp và của các linh mục liên hợp có điều kiện là gì? Tôi đã tìm thấy chúng trong Phân tích dữ liệu Bayes của Gelman , nhưng tôi không thể tìm thấy định nghĩa của chúng.

bayesian

— Tim
nguồn

Câu trả lời:

Sử dụng định nghĩa trong Phân tích dữ liệu Bayes (lần 3) , nếu là một lớp phân phối lấy mẫu và là một lớp phân phối trước cho , thì class được liên hợp cho nếu $\mathcal{F}$ $p(y|\theta)$ $\mathcal{P}$ $\theta$ $\mathcal{P}$ $\mathcal{F}$

p (θ | y) \in P for all p (\cdot | θ) \in F and p (\cdot) \in P .

$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$

Nếu là một lớp phân phối lấy mẫu và là một lớp phân phối trước cho điều kiện trên , thì lớp là liên hợp có điều kiện cho nếu $\mathcal{F}$ $p(y|\theta,\phi)$ $\mathcal{P}$ $\theta$ $\phi$ $\mathcal{P}$ $\mathcal{F}$

p (θ | y, ϕ) \in P for all p (\cdot | θ, ϕ) \in F and p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

Các linh mục liên hợp có điều kiện thuận tiện trong việc xây dựng một bộ lấy mẫu Gibbs vì điều kiện đầy đủ sẽ là một gia đình được biết đến.

Tôi đã tìm kiếm một phiên bản điện tử của Phân tích dữ liệu Bayes (lần xuất bản thứ 3) và không thể tìm thấy tài liệu tham khảo nào về bán liên hợp trước đó. Tôi đoán nó đồng nghĩa với liên hợp có điều kiện, nhưng nếu bạn cung cấp một tài liệu tham khảo về việc sử dụng nó trong cuốn sách, tôi sẽ có thể đưa ra một định nghĩa.

— jaradniemi
nguồn

+1. URL cho phiên bản thứ 3 của Phân tích dữ liệu Bayes là gì?

— Patrick Coulombe

Cảm ơn! Bán liên hợp xuất hiện ở đây (tái bản lần 2) Books.google.com/ . Nhân tiện, làm thế nào bạn có được ebook cho lần xuất bản thứ 3?

— Tim

Tôi không chắc tại sao nó lại nói dấu chấm phẩy trước đó vì trước đó là liên hợp hoàn toàn. Tuyên bố này được gỡ bỏ trong phiên bản thứ 3. Ebook có thể được mua tại đây: crcpress.com/product/vdn/9781439840955 .

— jaradniemi

@jaradniemi: Trong liên kết tôi đã đưa ra, trên đầu trang p84, chỉ ra rằng dấu chấm phẩy trước không phải là liên hợp trước.

— Tim

Trong mỗi đề cập đến điều gì và mỗi đề cập đến cùng một điều?

p (θ | y, ϕ) \in P for all p (\cdot | θ, ϕ) \in F and p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

\cdot

$\cdot$

— Muno

Tôi muốn sử dụng đa biến bình thường làm ví dụ.

Hãy nhớ lại rằng khả năng được đưa ra bởi

P (y_{1}, y_{2}, . . ., y_{n} | μ, Σ) = (2 π)^{- \frac{N D}{2}} det (Σ)^{- \frac{N}{2}} \exp (\frac{1}{2} \sum_{i = 1}^{N} (x_{i} - μ)^{T} Σ^{- 1} (x_{i} - μ))

$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$

Để tìm trước ưu tiên này, chúng tôi có thể chọn

P (μ, Σ) = Normal (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

Tôi đảm bảo bạn KHÔNG phải lo lắng về ngay bây giờ; chúng chỉ đơn giản là các tham số của phân phối trước. $\mu_0,\Lambda_0,\nu_0,S_0$

Tuy nhiên, điều quan trọng là điều này không liên hợp với khả năng. Để xem lý do tại sao, tôi muốn trích dẫn một tài liệu tham khảo tôi tìm thấy trực tuyến.

lưu ý rằng và xuất hiện cùng nhau theo cách không có yếu tố trong khả năng; do đó chúng cũng sẽ được ghép với nhau ở phía sau $\mu$ $\Sigma$

Tài liệu tham khảo là "Học máy: Một viễn cảnh xác suất" của Kevin P. Murphy. Đây là liên kết . Bạn có thể tìm thấy trích dẫn trong Phần 4.6 (Suy ra các tham số của MVN) ở đầu trang 135.

Để tiếp tục báo giá,

Các ưu tiên trên đôi khi được gọi là bán liên hợp hoặc liên hợp có điều kiện , vì cả hai điều kiện, và , được liên hợp riêng lẻ. Để tạo một liên hợp đầy đủ trước , chúng ta cần sử dụng một liên kết trước trong đó và phụ thuộc vào nhau. Chúng tôi sẽ sử dụng một phân phối chung của mẫu $p(\mu|\Sigma)$ $p(\Sigma|\mu)$ $\mu$ $\Sigma$

$p (μ, Σ) = p (Σ) p (μ | Σ)$ $p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

Ý tưởng ở đây là phân phối trước

P (μ, Σ) = Normal (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

giả định rằng và có thể tách rời (hoặc độc lập theo nghĩa). Tuy nhiên, chúng tôi quan sát rằng trong hàm khả năng, và không thể được tách ra một cách riêng biệt, điều này ngụ ý rằng chúng sẽ không thể tách rời ở phía sau (Nhớ lại, ). Điều này cho thấy rằng phần sau "không thể tách rời" và "có thể tách rời" trước khi bắt đầu không liên hợp. Mặt khác, bằng cách viết lại $\mu$ $\Sigma$ $\mu$ $\Sigma$ $(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

p (μ, Σ) = p (Σ) p (μ | Σ)

$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

sao cho và phụ thuộc vào nhau (thông qua ), bạn sẽ có được một liên hợp trước, được đặt tên là bán liên hợp trước . Điều này hy vọng trả lời câu hỏi của bạn. $\mu$ $\Sigma$ $p(\mu|\Sigma)$

ps : Một tài liệu tham khảo thực sự hữu ích khác mà tôi đã sử dụng là "Khóa học đầu tiên về phương pháp thống kê Bayes" của Peter D. Hoff. Đây là một liên kết đến cuốn sách. Bạn có thể tìm thấy nội dung có liên quan trong Phần 7 bắt đầu từ trang 105 và anh ta có một lời giải thích rất tốt (và trực giác) về phân phối bình thường một biến trong Phần 5 bắt đầu từ trang 67, sẽ được củng cố lại trong Phần 7 khi anh ta giải quyết MVN.

— NeverBe
nguồn

Nếu là một lớp lấy mẫu phân phối , và là một lớp học của các bản phân phối trước cho , sau đó các lớp là semiconjugate cho nếu cho tất cả và , nơi và không thuộc về lớp . $F$ $p(y|θ,ϕ)$ $P$ $θ$ $P$ $F$ $p(θ|y,ϕ)∈P$ $p(⋅|θ,ϕ)∈F$ $p(θ,ϕ)=p(θ)\times p(ϕ)$ $p(θ)∈P$ $p(ϕ)$ $P$

— nudtlxt
nguồn