Tại sao khoảng tin cậy Bayes trong hồi quy đa thức này bị sai lệch trong khi khoảng tin cậy là chính xác?

Hãy xem xét cốt truyện dưới đây trong đó tôi mô phỏng dữ liệu như sau. Chúng tôi xem xét một kết quả nhị phân mà xác suất thực sự là 1 được biểu thị bằng đường màu đen. Mối quan hệ chức năng giữa hiệp phương trình và là đa thức bậc 3 với liên kết logistic (vì vậy nó không tuyến tính theo cách hai chiều).$y_{obs}$$x$$p(y_{obs}=1 | x)$

Đường màu xanh là hồi quy logistic GLM phù hợp trong đó được giới thiệu là đa thức bậc 3. Các đường màu lục nét đứt là khoảng tin cậy 95% xung quanh dự đoán , trong đó các hệ số hồi quy được trang bị. Tôi đã sử dụng và cho điều này.$x$$p(y_{obs}=1 | x, \hat{\beta})$$\hat{\beta}$R glmpredict.glm

Tương tự, dòng pruple là giá trị trung bình của hậu thế với khoảng tin cậy 95% cho của mô hình hồi quy logistic Bayes sử dụng đồng phục trước. Tôi đã sử dụng gói có chức năng này (cài đặt cung cấp cho đồng phục không chính xác trước).$p(y_{obs}=1 | x, \beta)$MCMCpackMCMClogitB0=0

Các chấm đỏ biểu thị các quan sát trong tập dữ liệu mà , các chấm đen là các quan sát với . Lưu ý rằng như phổ biến trong phân loại / phân tích rời rạc nhưng không quan sát thấy .$y_{obs}=1$$y_{obs}=0$$y$$p(y_{obs}=1 | x)$

Một số điều có thể được nhìn thấy:

1. Tôi mô phỏng trên mục đích rằng là thưa thớt trên tay trái. Tôi muốn rằng sự tự tin và khoảng tin cậy sẽ được mở rộng ở đây do thiếu thông tin (quan sát).$x$
2. Cả hai dự đoán đều thiên về phía bên trái. Sự thiên vị này được gây ra bởi bốn điểm màu đỏ biểu thị quan sát, điều này cho thấy sai rằng hình thức chức năng thực sự sẽ xuất hiện ở đây. Thuật toán không đủ thông tin để kết luận dạng chức năng thực sự bị uốn cong xuống.$y_{obs}=1$
3. Khoảng tin cậy sẽ rộng hơn như mong đợi, trong khi khoảng tin cậy thì không . Trong thực tế, khoảng tin cậy bao quanh không gian tham số hoàn chỉnh, do đó cần phải thiếu thông tin.

Có vẻ như khoảng tin cậy là sai / quá lạc quan ở đây đối với một phần của . Đó thực sự là hành vi không mong muốn cho khoảng tin cậy bị thu hẹp khi thông tin trở nên thưa thớt hoặc hoàn toàn không có. Thông thường đây không phải là cách một khoảng tin cậy phản ứng. Ai đó có thể giải thích:$x$

1. Lý do cho điều này là gì?
2. Những bước tôi có thể thực hiện để đi đến một khoảng đáng tin cậy tốt hơn? (nghĩa là, một trong đó có ít nhất là dạng chức năng thực sự, hoặc tốt hơn là rộng bằng khoảng tin cậy)

Mã để có được các khoảng dự đoán trong đồ họa được in ở đây:

fit <- glm(y_obs ~ x + I(x^2) + I(x^3), data=data, family=binomial)
x_pred <- seq(0, 1, by=0.01)
pred <- predict(fit, newdata = data.frame(x=x_pred), se.fit = T)
plot(plogis(pred$fit), type='l')
matlines(plogis(pred$fit + pred$se.fit %o% c(-1.96,1.96)), type='l', col='black', lty=2)


library(MCMCpack)
mcmcfit <- MCMClogit(y_obs ~ x + I(x^2) + I(x^3), data=data, family=binomial)
gibbs_samps <- as.mcmc(mcmcfit)
x_pred_dm <- model.matrix(~ x + I(x^2) + I(x^3), data=data.frame('x'=x_pred))
gibbs_preds <- apply(gibbs_samps, 1, `%*%`, t(x_pred_dm))
gibbs_pis <- plogis(apply(gibbs_preds, 1, quantile, c(0.025, 0.975)))
matlines(t(gibbs_pis), col='red', lty=2)

Truy cập dữ liệu : https://pastebin.com/1H2iXiew cảm ơn @DeltaIV và @AdamO

Đối với mô hình frequentist, phương sai của các phóng đại dự đoán theo tỷ lệ với bình phương khoảng cách từ trọng tâm của . Phương pháp tính toán các khoảng dự đoán của bạn cho GLM Bayes sử dụng các lượng tử theo kinh nghiệm dựa trên đường cong xác suất được trang bị, nhưng không tính đến đòn bẩy của$X$$X$

GLM thường xuyên nhị thức không khác với GLM có liên kết nhận dạng ngoại trừ phương sai tỷ lệ với giá trị trung bình.

Lưu ý rằng bất kỳ biểu diễn đa thức nào của xác suất logit đều dẫn đến dự đoán rủi ro hội tụ về 0 là và 1 là hoặc ngược lại, tùy thuộc vào dấu hiệu của thuật ngữ thứ tự đa thức cao nhất .X → $X\rightarrow -\infty$$X\rightarrow \infty$

Đối với dự đoán thường xuyên, độ lệch bình phương (đòn bẩy) tăng tỷ lệ thuận trong phương sai dự đoán chi phối xu hướng này. Đây là lý do tại sao tốc độ hội tụ đến các khoảng dự đoán xấp xỉ bằng [0, 1] nhanh hơn tốc độ hội tụ logit đa thức bậc ba với xác suất 0 hoặc 1 số ít.

Điều này không phải là như vậy đối với các lượng tử được trang bị sau của Bayes. Không có sử dụng rõ ràng độ lệch bình phương, vì vậy chúng tôi chỉ đơn giản dựa vào tỷ lệ chi phối 0 hoặc 1 xu hướng để xây dựng các khoảng dự đoán dài hạn.

Này được thực hiện rõ ràng bằng cách ngoại suy rất xa ngoài vào những thái cực của .$X$

Sử dụng mã tôi đã cung cấp ở trên, chúng tôi nhận được:

> x_pred_dom <- model.matrix(~ x + I(x^2) + I(x^3), data=data.frame('x'=c(1000)))
> gibbs_preds <- plogis(apply(gibbs_samps[1000:10000, ], 1, `%*%`, t(x_pred_dom))) # a bunch of 0/1s basically past machine precision
> prop.table(table(gibbs_preds))
gibbs_preds
         0          1 
0.97733585 0.02266415 
> 

Vì vậy, 97,75% thời gian, thuật ngữ đa thức thứ ba là âm. Điều này có thể kiểm chứng được từ các mẫu Gibbs:

> prop.table(table(gibbs_samps[, 4]< 0))

 FALSE   TRUE 
0.0225 0.9775 

Do đó xác suất dự đoán hội tụ về 0 khi chuyển sang vô cùng. Nếu chúng ta kiểm tra các SE của mô hình Bayes, chúng ta thấy ước tính của đa thức thứ ba là -185,25 với se 108,81 có nghĩa là 1,70 SD từ 0, vì vậy sử dụng luật xác suất thông thường, nó sẽ giảm xuống dưới 0 95,5% thời gian ( không phải là một dự đoán khác biệt khủng khiếp dựa trên 10.000 lần lặp). Chỉ là một cách khác để hiểu hiện tượng này.$X$

Mặt khác, sự phù hợp thường xuyên thổi lên đến 0,1 như mong đợi:

freq <- predict(fit, newdata = data.frame(x=1000), se.fit=T)
plogis(freq$fit + c(-1.96, 1.96) %o% freq$se.fit)

cho:

> plogis(freq$fit + c(-1.96, 1.96) %o% freq$se.fit)
     [,1]
[1,]    0
[2,]    1