Tại sao tham số hóa trung bình dự phòng tăng tốc Gibbs MCMC?

Trong cuốn sách của Gelman & Hill (2007) (Phân tích dữ liệu bằng cách sử dụng hồi quy và mô hình đa cấp / phân cấp), các tác giả cho rằng bao gồm các tham số trung bình dự phòng có thể giúp tăng tốc MCMC.

Ví dụ đã cho là một mô hình không lồng nhau của "trình mô phỏng bay" (Eq 13.9):

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

Họ đề nghị tái tham số hóa, thêm các tham số trung bình và như sau: $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

Sự biện minh duy nhất được đưa ra là (trang 420):

$\gamma$ $\delta$

Làm thế nào để các tham số trung bình dư thừa giúp đỡ với vấn đề này?

$\gamma$ $\delta$ $\gamma$ $\delta$

mcmc hierarchical-bayesian gibbs

— Heisenberg
nguồn

γ

$\gamma$

δ

$\delta$

γ

$\gamma$

μ

$\mu$

δ

$\delta$

μ

$\mu$

Tôi muốn có cái nhìn sâu sắc trực quan về khái niệm định tâm phân cấp nói chung (vì trường hợp cụ thể trong câu hỏi trực tiếp là một ứng dụng của định tâm phân cấp). Điểm mấu chốt tôi muốn có cái nhìn sâu sắc là: tại sao định tâm phân cấp hoạt động nếu phương sai ở cấp độ nhóm là một phần đáng kể của tổng phương sai ? Bài viết của Gelfand et al. chứng minh điều này về mặt toán học (nghĩa là rút ra mối tương quan và tìm ra hành vi giới hạn của nó), nhưng không có bất kỳ lời giải thích trực quan nào.

— Heisenberg

$\mu$ $\gamma_j$ $\delta_k$ .

$\gamma_j$ $\delta_k$ $\mu$

Xem phần mô tả rất rõ ràng 25.1 'Định tâm phân cấp là gì?' trong cuốn sách (có sẵn miễn phí) 'Ước tính MCMC bằng MLwiN' của William J. Browne và những người khác. http://www.bristol.ac.uk/cmm/software/mlwin/doad/manuals.html

— Sextus Empiricus
nguồn

Mục 25.1 của 'Ước tính MCMC MlwiN' mô tả kỹ thuật "định tâm phân cấp" này, nhưng không đi sâu vào bất kỳ chi tiết nào ngoài việc tuyên bố rằng nó hoạt động. Tìm hiểu kỹ các tài liệu tham khảo của nó, tôi thấy rằng bằng chứng thực tế của kỹ thuật này được trình bày trong bài viết Các tham số hiệu quả cho các mô hình hỗn hợp tuyến tính thông thường , bởi Gelfand et al, Biometrika vol 82 số 3.

— Heisenberg

Bài viết trên đây lần lượt sử dụng các thuộc tính của phân phối bình thường mà không giải thích. Tôi tìm thấy bằng chứng về các tính chất đó trong phân tích Conjugate Bayesian về phân phối Gaussian của Kevin Murphy.

— Heisenberg

Thật không may, tôi vẫn chưa thấy một lời giải thích trực quan về lý do tại sao kỹ thuật này hoạt động.

— Heisenberg

Tuy muộn nhưng tôi nghĩ bài báo này có thể là thứ bạn đang tìm kiếm

— baruuum