Bayesian tương đương với mức độ tốt của kiểm tra sự phù hợp?

Tôi có hai bộ dữ liệu, một từ tập hợp các quan sát vật lý (nhiệt độ) và một từ tập hợp các mô hình số. Tôi đang thực hiện phân tích mô hình hoàn hảo, giả sử tập hợp mô hình đại diện cho một mẫu thực sự, độc lập và kiểm tra xem các quan sát có được rút ra từ phân phối đó không. Thống kê tôi đã tính được chuẩn hóa và theo lý thuyết nên là phân phối chuẩn thông thường. Tất nhiên nó không hoàn hảo, vì vậy tôi muốn kiểm tra mức độ phù hợp.

Sử dụng lý luận thường xuyên, tôi có thể tính toán thống kê Cramér-von Mises (hoặc Kolmogorov-Smirnov, v.v.), hoặc tương tự, và tìm giá trị trong bảng để lấy giá trị p, để giúp tôi quyết định giá trị tôi không chắc như thế nào thấy là, đưa ra các quan sát giống như mô hình.

Tương đương Bayes của quá trình này sẽ là gì? Đó là, làm thế nào để tôi định lượng sức mạnh của niềm tin của tôi rằng hai phân phối này (thống kê tính toán của tôi và tiêu chuẩn bình thường) là khác nhau?

Tôi muốn đề xuất cuốn sách Phân tích dữ liệu Bayes như một nguồn tuyệt vời để trả lời câu hỏi này (đặc biệt là chương 6) và tất cả mọi thứ tôi sắp nói. Nhưng một trong những cách thông thường mà người Bayes tấn công vấn đề này là sử dụng các giá trị P (PPP) Dự đoán Posterior. Trước khi tôi tìm hiểu về cách các PPP sẽ giải quyết vấn đề này, trước tiên tôi hãy xác định ký hiệu sau:

Đặt là dữ liệu quan sát và θ là vectơ của tham số. Chúng ta định nghĩa y đại diện là sao chép dữ liệu mà có thể được quan sát, hoặc, để suy nghĩ predictively, như dữ liệu chúng tôi sẽ nhìn thấy ngày mai nếu thử nghiệm rằng sản xuất y ngày nay đã được nhân rộng với mô hình tương tự và cùng giá trị của θ mà sản xuất các quan sát dữ liệu.$y$$\theta$$y^{\text{rep}}$$y$$\theta$

Lưu ý, chúng tôi sẽ xác định sự phân bố của cho tình trạng hiện tại của kiến thức với các hậu nghiệm tiên đoán phân phối p ( y đại diện | y ) = ∫ q p ( y đại diện | θ ) p ( θ | y ) d $y^{\text{rep}}$

$$p(y^{\text{rep}}|y)=\int_\Theta p(y^{\text{rep}}|\theta)p(\theta|y)d\theta$$

Bây giờ, chúng ta có thể đo lường sự khác biệt giữa mô hình và dữ liệu bằng cách xác định số lượng thử nghiệm , các khía cạnh của dữ liệu mà chúng ta muốn kiểm tra. Một số lượng kiểm tra, hoặc biện pháp khác nhau , , là một bản tóm tắt vô hướng của các thông số và dữ liệu được sử dụng như một tiêu chuẩn khi so sánh dữ liệu để mô phỏng đoán. Số lượng thử nghiệm đóng vai trò trong mô hình Bayes kiểm tra số liệu thống kê thử nghiệm đóng trong thử nghiệm cổ điển. Chúng tôi xác định ký hiệu T ( y $T(y,\theta)$$T(y)$đối với thống kê kiểm tra, là số lượng kiểm tra chỉ phụ thuộc vào dữ liệu; trong bối cảnh Bayes, chúng ta có thể khái quát các thống kê kiểm tra để cho phép sự phụ thuộc vào các tham số mô hình theo phân phối sau của chúng.

Cổ điển, các giá trị p cho kiểm tra thống kê là p C = Pr ( T ( y đại diện ) ≥ T ( y ) | θ ) nơi xác suất được thực hiện trên sự phân bố của y diện với θ cố định.$T(y)$

$$p_C=\text{Pr}(T(y^{\text{rep}})\geq T(y)|\theta)$$ $y^{\text{rep}}$$\theta$

Từ góc độ Bayes, việc thiếu dữ liệu phù hợp với phân phối dự báo sau có thể được đo bằng xác suất vùng đuôi hoặc giá trị p của đại lượng thử nghiệm và được tính toán bằng cách sử dụng mô phỏng sau $(\theta,y^{\text{rep}})$

$$p_B=\text{Pr}(T(y^{\text{rep}},\theta)\geq T(y,\theta)|y)$$ $\theta$$y^{\text{rep}}$$p(\theta,y^{\text{rep}}|y)$ $$p_B=\iint_\Theta I_{T(y^{\text{rep}},\theta)\geq T(y|\theta)}p(y^{\text{rep}}|\theta)p(\theta|y)dy^{\text{rep}}d\theta,$$ $I$

$L$$\theta$$y^{\text{rep}}$$\theta$$L$$p(y^{\text{rep}},\theta|y)$$T(y,\theta^l)$$T(y^{\text{rep}l},\theta^l)$$L$

$$T(y^{\text{rep}l},\theta^l)\geq T(y,\theta^l)$$ $l=1,...,L$

Trái ngược với cách tiếp cận cổ điển, kiểm tra mô hình Bayes không yêu cầu các phương pháp đặc biệt để xử lý "tham số phiền toái". Bằng cách sử dụng mô phỏng sau, chúng tôi hoàn toàn trung bình trên tất cả các tham số trong mô hình.

Một nguồn bổ sung, Andrew Gelman cũng có một bài viết rất hay về PPP tại đây: http://www.stat.columbia.edu/~gelman/research/unpublished/ppc_understand2.pdf

Một khả năng tương đối đơn giản: Các thử nghiệm mượt mà về độ phù hợp, ví dụ [1] - tạo khung thay thế về độ lệch mịn so với null, được xây dựng bởi đa thức trực giao (đối với mật độ null là hàm trọng số) sẽ tương đối đơn giản với mang đến một khung Bayes, vì các hệ số của đa thức tạo thành một phần mở rộng linh hoạt nhưng nhưng tham số của null.

[1]: Rayner, JCW và DJ Best (1990),
"Những thử nghiệm suôn sẻ về sự phù hợp: Tổng quan" ,
Tạp chí thống kê quốc tế , 58 : 1 (tháng 4), trang 9-17