Kiểm tra dự báo sau là gì và điều gì làm cho chúng hữu ích?

Tôi hiểu phân phối dự báo sau là gì và tôi đã đọc về kiểm tra dự báo sau , mặc dù tôi chưa rõ nó là gì.

Chính xác thì kiểm tra dự báo sau là gì?
Tại sao một số tác giả nói rằng chạy kiểm tra dự báo sau là "sử dụng dữ liệu hai lần" và không nên bị lạm dụng? (hoặc thậm chí đó không phải là Bayes)? (ví dụ: xem cái này hay cái này )
Kiểm tra này chính xác hữu ích cho việc gì? Nó thực sự có thể được sử dụng để lựa chọn mô hình? (ví dụ: nó có ảnh hưởng đến cả hai, độ phức tạp của mô hình và mô hình không?)

bayesian model-selection posterior

Nói một cách đơn giản, kiểm tra dự báo sau là "mô phỏng dữ liệu sao chép theo mô hình được trang bị và sau đó so sánh chúng với dữ liệu được quan sát" ( Gelman và Hill, 2007, trang 158 ). Vì vậy, bạn sử dụng dự báo sau để "tìm kiếm sự khác biệt có hệ thống giữa dữ liệu thực và dữ liệu mô phỏng" ( Gelman et al. 2004, p. 169 ).

Đối số về "sử dụng dữ liệu hai lần" là bạn sử dụng dữ liệu của mình để ước tính mô hình và sau đó, để kiểm tra xem mô hình có phù hợp với dữ liệu hay không, trong khi nói chung đó là một ý tưởng tồi và tốt hơn là nên xác thực mô hình của bạn trên dữ liệu ngoài , điều đó đã không được sử dụng để ước tính.

Kiểm tra dự báo sau có ích trong việc đánh giá xem mô hình của bạn có đưa ra dự đoán "hợp lệ" về thực tế hay không - chúng có phù hợp với dữ liệu quan sát hay không. Đây là một giai đoạn hữu ích của việc xây dựng và kiểm tra mô hình. Nó không cung cấp cho bạn một câu trả lời chắc chắn về việc mô hình của bạn là "ok" hay nếu nó "tốt hơn" thì mô hình khác, tuy nhiên, nó có thể giúp bạn kiểm tra xem mô hình của bạn có hợp lý hay không.

Điều này được mô tả độc đáo trong Lap thayDemon họa tiết Bayesian Suy luận :

$y^\text{rep}$ $y$

Kiểm tra dự báo sau (thông qua phân phối dự báo) liên quan đến việc sử dụng hai lần dữ liệu, vi phạm nguyên tắc khả năng. Tuy nhiên, các lập luận đã được đưa ra có lợi cho kiểm tra dự báo sau, với điều kiện là việc sử dụng bị giới hạn trong các biện pháp khác biệt để nghiên cứu tính thỏa đáng của mô hình, không phải để so sánh và suy luận mô hình (Meng 1994).

$y^\text{rep}$ $y$ $y$ $y^\text{rep}$

— Tim
nguồn

Về phía bạn, PPC có thể không phải là Bayes, lưu ý rằng Gelman thảo luận rất nhiều về chính xác phân tích dữ liệu Bayesian / Bayes là Gelman và Shalizi

— N Brouwer

Gelman & Shalizi thảo luận về phân tích dữ liệu Bayes là gì theo quan điểm của họ . Có rất nhiều quan điểm khác nhau, tất cả đều có động lực - từ Jeffreys đến Savage, từ de Finetti đến Gaifman, Scott & Krauss & Hailperin , chưa kể các quan điểm khác nhau nhiều hơn, như của Dempster-Shafer .

— pglpm