Chẩn đoán dư trong các mô hình hồi quy dựa trên MCMC


21

Gần đây tôi đã bắt tay vào các mô hình hỗn hợp hồi quy phù hợp trong khung Bayes, sử dụng thuật toán MCMC (thực sự có chức năng MCMCglmm trong R).

Tôi tin rằng tôi đã hiểu làm thế nào để chẩn đoán sự hội tụ của quá trình ước tính (dấu vết, âm mưu geweke, tự động tương quan, phân phối sau ...).

Một trong những điều gây ấn tượng với tôi trong khuôn khổ Bayes là rất nhiều nỗ lực dường như dành cho việc chẩn đoán đó, trong khi rất ít có vẻ như được thực hiện trong việc kiểm tra các phần dư của mô hình được trang bị. Ví dụ, trong MCMCglmm, hàm Residual.mcmc () không tồn tại nhưng thực tế chưa được triển khai (eg.returns: "phần dư chưa được triển khai cho các đối tượng MCMCglmm"; câu chuyện tương tự cho dự đoán.mcmc ()). Nó dường như cũng thiếu từ các gói khác, và nói chung là ít được thảo luận trong tài liệu tôi đã tìm thấy (ngoài DIC cũng được thảo luận khá nhiều).

Bất cứ ai cũng có thể chỉ cho tôi một số tài liệu tham khảo hữu ích và mã R lý tưởng mà tôi có thể chơi với hoặc sửa đổi?

Cảm ơn nhiều.


Câu hỏi tuyệt vời. Tôi thực sự thích bài viết của Andrew Gelman với Cosma Shalizi về việc kiểm tra mô hình Bayes.
David J. Harris

Câu trả lời:


7

Tôi nghĩ rằng việc sử dụng thuật ngữ dư không phù hợp với hồi quy Bayes. Hãy nhớ rằng, trong các mô hình xác suất thường xuyên, đó là các tham số được coi là đại lượng có thể ước tính cố định và cơ chế tạo dữ liệu có một số mô hình xác suất ngẫu nhiên liên quan đến dữ liệu được quan sát. Đối với Bayes, các tham số của các mô hình xác suất được coi là biến và dữ liệu cố định cập nhật niềm tin của chúng tôi về những tham số đó là gì. Vì vậy, nếu bạn đang tính toán phương sai của các quan sát trừ trang bị giá trị trong một mô hình hồi quy, các quan sátthành phần sẽ có 0 phương sai trong khi thành phần được trang bị sẽ thay đổi như một hàm của mật độ xác suất sau cho các tham số mô hình. Điều này trái ngược với những gì bạn sẽ rút ra từ mô hình hồi quy thường xuyên. Tôi nghĩ rằng nếu ai đó quan tâm đến việc kiểm tra các giả định xác suất của mô hình hồi quy Bayes của họ, thì một QQplot đơn giản về mật độ sau của ước tính tham số (ước tính từ lấy mẫu MCMC của chúng tôi) so với phân phối bình thường sẽ có khả năng chẩn đoán tương tự với phân tích dư (hoặc Pearson dư cho các hàm liên kết phi tuyến tính).


1
Đây là một câu trả lời tốt. Vẫn có thể có câu trả lời đưa ra các cấu trúc Bayes hữu ích được tính toán từ phần dư được trang bị trừ, nhưng điều này chắc chắn không nên bị hạ cấp.
ely

3
Ngoài ra, có thể đáng làm rõ rằng trong cài đặt Bayes, bạn không thực sự có các giá trị "được trang bị". Bạn có thể tính giá trị trung bình sau cho một đầu vào được quan sát nhất định, để có được ước tính sau tối đa của giá trị dự kiến ​​của biến mục tiêu ở đầu vào đó. Nhưng điều này sẽ làm giảm tất cả mọi thứ để ước tính điểm, điều thường không mong muốn nếu bạn đang thực hiện suy luận Bayes.
ely

2
@EMS bất kỳ trong số đó là phần dư có ý nghĩa. Chỉ vì một người là Bayes không có nghĩa là người ta không thể kiểm tra xem các giả định có được phản ánh trong dữ liệu hay không.
Glen_b -Reinstate Monica

1
Đối với suy luận xác suất chính xác (giả định quy tắc tại chỗ) trong môi trường thường xuyên, "phần dư" sẽ, trong các bản sao của thí nghiệm nghiên cứu, độc lập có điều kiện với "giá trị phù hợp" (hoặc giá trị có điều kiện). Trong thế giới Bayes, dữ liệu không phải là ngẫu nhiên, vậy điều gì sẽ độc lập với điều kiện?
AdamO

1
E[Y|X]XY
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.