Đánh giá phân phối dự báo sau trong hồi quy tuyến tính Bayes

10

Tôi bối rối về cách đánh giá phân phối dự báo sau cho hồi quy tuyến tính Bayes, qua trường hợp cơ bản được mô tả ở đây trên trang 3 và được sao chép bên dưới.

p (\tilde{y} ∣ y) = \int p (\tilde{y} ∣ β, σ^{2}) p (β, σ^{2} ∣ y)

$p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y)$

Trường hợp cơ bản là mô hình hồi quy tuyến tính này:

y = X β + ϵ, y \sim N (X β, σ^{2})

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2)$

Nếu chúng tôi sử dụng đồng phục trước , với thang đo - Inv trước , HOẶC phân phối nghịch đảo bình thường trước (xem tại đây ) phân phối dự báo sau là phân tích và là sinh viên. $\beta$ $\chi^2$ $\sigma^2$

Còn đối với mô hình này thì sao?

y = X β + ϵ, y \sim N (X β, Σ)

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \Sigma)$

Khi , nhưng được biết đến, phân phối dự báo sau là Gaussian đa biến. Thông thường, bạn không biết , nhưng phải ước tính nó. Có thể bạn nói đường chéo của nó và làm cho đường chéo là một hàm của hiệp phương sai theo một cách nào đó. Điều này được thảo luận trong chương hồi quy tuyến tính của Phân tích dữ liệu Bayes của Gelman . $y \sim N(X\beta, \Sigma)$ $\Sigma$ $\Sigma$

Có một hình thức phân tích cho phân phối dự báo sau trong trường hợp này? Tôi chỉ có thể cắm ước tính của tôi vào một sinh viên đa biến? Nếu bạn ước tính nhiều hơn một phương sai, thì phân phối vẫn là đa biến sinh viên t?

Tôi hỏi vì nói tôi có một số đã có trên tay. Tôi muốn biết liệu có nhiều khả năng đã được dự đoán hay không, ví dụ như hồi quy tuyến tính A, hồi quy tuyến tính B $\tilde y$

— hóa đơn
nguồn

1

Nếu bạn có các mẫu sau từ phân phối sau, bạn có thể đánh giá phân phối dự đoán bằng xấp xỉ Monte Carlo

— niandra82

À cảm ơn, tôi luôn có thể làm điều đó. Không có công thức phân tích trong trường hợp này?

— bill_e

Bằng cách này, các liên kết bị phá vỡ. Sẽ thật tuyệt nếu bạn kết hợp các tài liệu tham khảo theo cách khác.

— Maxim.K

6

Nếu bạn giả sử đồng phục trước , thì hậu thế cho là với Để tìm phân phối dự đoán, chúng ta cần thêm thông tin. Nếu và độc lập có điều kiện cho , thì Nhưng thông thường đối với các loại mô hình này, và không độc lập có điều kiện, thay vào đó, chúng ta thường có $\beta$ $\beta$

β | y \sim N (\hat{β}, V_{β}) .

$\beta|y \sim N(\hat{\beta},V_\beta).$

\hat{β} = [X^{'} Σ^{- 1} X] X^{'} y and V_{β} = [X^{'} Σ^{- 1} X]^{- 1} .

$\hat{\beta} = [X'\Sigma^{-1}X]X'y \quad \mbox{and} \quad V_\beta =[X'\Sigma^{-1}X]^{-1}.$

\tilde{y} \sim N (\tilde{X} β, \tilde{Σ})

$\tilde{y} \sim N(\tilde{X}\beta,\tilde{\Sigma})$

y

$y$

β

$\beta$

\tilde{y} | y \sim N (\tilde{X} \hat{β}, \tilde{Σ} + V_{β}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta}, \tilde{\Sigma} + V_\beta).$

y

$y$

\tilde{y}

$\tilde{y}$

(\begin{matrix} y \\ \tilde{y} \end{matrix}) \sim N ([\begin{matrix} X β \\ \tilde{X} β \end{matrix}], [\begin{array}{cc} Σ & Σ_{12} \\ Σ_{21} & \tilde{Σ} \end{array}]) .

$\left( \begin{array}{c} y \\ \tilde{y} \end{array} \right) \sim N\left( \left[\begin{array}{c} X\beta \\ \tilde{X}\beta \end{array}\right], \left[ \begin{array}{cc} \Sigma & \Sigma_{12} \\ \Sigma_{21} & \tilde{\Sigma} \end{array} \right]\right).$ Nếu đây là trường hợp, thì Giả định này và đều được biết đến. Như bạn chỉ ra, thông thường chúng không được biết và cần phải được ước tính. Đối với các mô hình phổ biến có cấu trúc này, ví dụ như mô hình chuỗi thời gian và không gian, nhìn chung sẽ không có dạng đóng cho phân phối dự đoán.

\tilde{y} | y \sim N (\tilde{X} \hat{β} + Σ_{21} Σ^{- 1} (y - X \hat{β}), \tilde{Σ} - Σ_{21} Σ^{- 1} Σ_{12}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta} + \Sigma_{21}\Sigma^{-1}(y-X\hat{\beta}), \tilde{\Sigma} - \Sigma_{21}\Sigma^{-1}\Sigma_{12}).$

Σ, Σ_{12},

$\Sigma, \Sigma_{12},$

\tilde{Σ}

$\tilde{\Sigma}$

— jaradniemi
nguồn

2

Theo các linh mục Wishart thông thường hoặc không đa thông tin, bạn có dạng phân tích dưới dạng phân phối của Học sinh đa biến, cho một biến dị cổ điển, hồi quy bội. Tôi đoán những phát triển trong tài liệu này có liên quan đến câu hỏi của bạn (bạn có thể thích Phụ lục A :-)). Tôi thường so sánh kết quả với phân phối dự báo sau thu được bằng WinBUGS và dạng phân tích: chúng hoàn toàn tương đương. Vấn đề chỉ trở nên khó khăn khi bạn có thêm các hiệu ứng ngẫu nhiên trong các mô hình hiệu ứng hỗn hợp, đặc biệt là trong thiết kế không cân bằng.

Nói chung, với hồi quy cổ điển, y và ỹ độc lập có điều kiện (phần dư là iid)! Tất nhiên nếu không phải là trường hợp, thì giải pháp đề xuất ở đây là không chính xác.

Trong R, (ở đây, giải pháp cho các linh mục thống nhất), giả sử bạn đã tạo một mô hình lm (được đặt tên là "mô hình") của một trong các phản hồi trong mô hình của bạn và gọi đó là "mô hình", đây là cách để có được phân phối dự báo đa biến

library(mvtnorm)
Y = as.matrix(datas[,c("resp1","resp2","resp3")])
X =  model.matrix(delete.response(terms(model)), 
           data, model$contrasts)
XprimeX  = t(X) %*% X
XprimeXinv = solve(xprimex)
hatB =  xprimexinv %*% t(X) %*% Y
A = t(Y - X%*%hatB)%*% (Y-X%*%hatB)
F = ncol(X)
M = ncol(Y)
N = nrow(Y)
nu= N-(M+F)+1 #nu must be positive
C_1 =  c(1  + x0 %*% xprimexinv %*% t(x0)) #for a prediction of the factor setting x0 (a vector of size F=ncol(X))
varY = A/(nu) 
postmean = x0 %*% hatB
nsim = 2000
ysim = rmvt(n=nsim,delta=postmux0,C_1*varY,df=nu)

Bây giờ, số lượng của fax là khoảng dung sai cho phép beta từ phân phối dự đoán, tất nhiên bạn có thể sử dụng trực tiếp phân phối được lấy mẫu để làm bất cứ điều gì bạn muốn.

— Pierre Lebrun
nguồn