Tại sao sử dụng phân phối beta trên tham số Bernoulli cho hồi quy logistic phân cấp?

Tôi hiện đang đọc cuốn sách "Làm phân tích dữ liệu Bayesian" tuyệt vời của Kruschke. Tuy nhiên, chương về hồi quy logistic phân cấp (Chương 20) hơi khó hiểu.

Hình 20.2 mô tả một hồi quy logistic phân cấp trong đó tham số Bernoulli được định nghĩa là hàm tuyến tính trên các hệ số được chuyển đổi thông qua hàm sigmoid. Đây dường như là cách hồi quy logistic phân cấp được đặt ra trong hầu hết các ví dụ tôi đã thấy trong các nguồn khác trên mạng. Ví dụ: http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.orms

Tuy nhiên, khi các yếu tố dự đoán là danh nghĩa, anh ta thêm một lớp trong hệ thống phân cấp - tham số Bernoulli hiện được rút ra từ phân phối beta (Hình 20.5) với các tham số được xác định bởi mu và kappa, trong đó mu là biến đổi sigmoid của hàm tuyến tính của các hệ số và kappa sử dụng gamma trước.

Điều này có vẻ hợp lý và tương tự như ví dụ lật đồng xu từ chương 9, nhưng tôi không thấy những gì có dự đoán danh nghĩa phải làm với việc thêm phân phối beta. Tại sao người ta không làm điều này trong trường hợp các yếu tố dự đoán số liệu và tại sao phân phối beta được thêm vào cho các yếu tố dự đoán danh nghĩa?

EDIT: Làm rõ về các mô hình tôi đang đề cập đến. Đầu tiên, một mô hình hồi quy logistic với các yếu tố dự đoán số liệu (không có beta trước). Điều này tương tự với các ví dụ khác về hồi quy logistic phân cấp, chẳng hạn như ví dụ lỗi ở trên:

$$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\ $$

Sau đó, ví dụ với các dự đoán danh nghĩa. Đây là nơi tôi không hiểu rõ vai trò của mức "thấp hơn" của hệ thống phân cấp (kết hợp kết quả logistic vào bản beta trước cho nhị thức) và tại sao nó phải khác với ví dụ số liệu.

$$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$$

Hai mô hình bạn so sánh có nhiều tính năng không liên quan và tôi nghĩ bạn có thể đặt lại câu hỏi của mình rõ ràng hơn trong ngữ cảnh của hai mô hình đơn giản sau:

Mô hình 1:

$$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$$

Mô hình 2:

$$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$$

Câu hỏi của bạn là: (1) vai trò của phân phối beta; và có liên quan, (2) làm thế nào (nếu có) là Mô hình 2 khác với Mô hình 1?

Nhìn bề ngoài, chúng có vẻ là những mô hình khá khác nhau, nhưng trên thực tế, các phân phối biên của trong cả hai mô hình là giống hệt nhau. Phân phối sau của trong Mô hình 1 là trong khi phân phối hậu biên của trong Mô hình 2 là: $\mu_i$$\mu_i$

$$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$$ $\mu_i$ $$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$$

Do đó, bất kỳ lợi thế nào có được từ việc sử dụng Mô hình 2 là tính toán. Việc định lượng quá mức các mô hình phân cấp, chẳng hạn như bổ sung trong Mô hình 2, đôi khi có thể cải thiện hiệu quả của quy trình lấy mẫu; ví dụ: bằng cách giới thiệu các mối quan hệ liên hợp có điều kiện giữa các nhóm tham số (xem câu trả lời của Jack Tanner) hoặc bằng cách phá vỡ mối tương quan giữa các tham số quan tâm (google "Mở rộng tham số").$\theta_i$

Lý do để vẽ tham số Bernoulli từ bản phân phối beta là bản beta được liên hợp với nhị thức. Sử dụng phân phối trước liên hợp cho phép giải pháp dạng đóng để tìm ra hậu thế.

EDIT: làm rõ. Hoặc là mô hình sẽ làm việc. Ngay cả với MCMC, thật hữu ích khi có các linh mục liên hợp vì điều đó cho phép sử dụng các bộ lấy mẫu chuyên dụng cho các loại phân phối khác nhau hiệu quả hơn so với các bộ lấy mẫu chung. Ví dụ: xem hướng dẫn sử dụng JAGS giây. 4.1.1 và giây 4.2.