Bayes suy nghĩ về quá mức

Tôi đã dành nhiều thời gian để phát triển các phương pháp và phần mềm để xác nhận các mô hình dự đoán trong miền thống kê thường xuyên truyền thống. Khi đưa nhiều ý tưởng Bayes vào thực tiễn và giảng dạy, tôi thấy một số khác biệt chính cần nắm lấy. Đầu tiên, mô hình dự đoán Bayes yêu cầu nhà phân tích suy nghĩ kỹ về các phân phối trước có thể được tùy chỉnh cho các tính năng của ứng viên và các linh mục này sẽ kéo mô hình về phía họ (nghĩa là đạt được sự thu hẹp / xử phạt / chính quy hóa với các mức phạt khác nhau cho các tính năng dự đoán khác nhau ). Thứ hai, cách Bayes "thực" không dẫn đến một mô hình duy nhất nhưng người ta có được toàn bộ phân phối sau cho dự đoán.

Với những đặc điểm Bayes trong tâm trí, quá mức có nghĩa là gì? Chúng ta có nên đánh giá nó? Nếu vậy thì thế nào? Làm thế nào để chúng ta biết khi một mô hình Bayes đáng tin cậy để sử dụng tại hiện trường? Hay đó là một điểm moot vì hậu thế sẽ mang theo tất cả những sự không chắc chắn đưa ra thận trọng khi chúng ta sử dụng mô hình mà chúng ta đã phát triển để dự đoán?

Suy nghĩ sẽ thay đổi như thế nào nếu chúng ta buộc mô hình Bayes được chưng cất thành một số duy nhất, ví dụ, rủi ro trung bình / chế độ / trung bình sau?

Tôi thấy một số suy nghĩ liên quan ở đây . Một cuộc thảo luận song song có thể được tìm thấy ở đây .

Câu hỏi tiếp theo : Nếu chúng tôi hoàn toàn là Bayes và dành thời gian suy nghĩ về các linh mục trước khi xem dữ liệu và chúng tôi phù hợp với một mô hình trong đó khả năng dữ liệu được chỉ định một cách thích hợp, chúng tôi buộc phải hài lòng với mô hình của mình về việc quá mức ? Hoặc chúng ta cần phải làm những gì chúng ta làm trong thế giới thường xuyên, nơi một đối tượng được chọn ngẫu nhiên có thể được dự đoán trung bình tốt, nhưng nếu chúng ta chọn một đối tượng có dự đoán rất thấp hoặc một đối tượng có giá trị dự đoán rất cao thì sẽ có hồi quy có nghĩa là gì?

Tôi có thể bắt đầu bằng cách nói rằng một mô hình Bayes không thể lấy dữ liệu quá mức (hoặc không phù hợp) một cách có hệ thống được rút ra từ phân phối dự đoán trước đó, là cơ sở cho một quy trình xác thực rằng phần mềm Bayesian hoạt động chính xác trước khi nó được áp dụng cho dữ liệu được thu thập từ thế giới.

Nhưng nó có thể vượt quá một tập dữ liệu duy nhất được rút ra từ phân phối dự báo trước hoặc một tập dữ liệu duy nhất được thu thập từ thế giới theo nghĩa là các biện pháp dự đoán khác nhau được áp dụng cho dữ liệu mà bạn thấy có vẻ tốt hơn các biện pháp dự đoán tương tự được áp dụng cho dữ liệu tương lai được tạo ra bởi quá trình tương tự. Chương 6 của cuốn sách Bayesian của Richard McElreath dành cho việc đánh giá quá cao.

Mức độ nghiêm trọng và tần suất của việc sử dụng quá mức có thể được giảm bớt bởi các linh mục tốt, đặc biệt là những người có nhiều thông tin về quy mô của một hiệu ứng. Bằng cách đặt xác suất trước biến mất trên các giá trị lớn đáng kinh ngạc, bạn không khuyến khích phân phối sau bị kích thích quá mức bởi một số khía cạnh bình dị của dữ liệu mà bạn đưa ra có thể cho thấy hiệu ứng lớn đáng kinh ngạc.

Các cách tốt nhất để phát hiện quá mức liên quan đến xác thực chéo một lần, có thể được xấp xỉ từ phân phối sau mà không thực sự để lại bất kỳ quan sát nào trong bộ điều hòa. Có một giả định rằng không có "quan sát" riêng lẻ nào mà bạn đặt ra có ảnh hưởng quá lớn đến phân phối sau, nhưng giả định đó có thể kiểm tra được bằng cách đánh giá kích thước của ước tính của tham số hình dạng trong phân phối Pareto tổng quát phù hợp với các trọng số lấy mẫu quan trọng (được lấy từ khả năng ghi nhật ký của một quan sát được đánh giá qua mỗi lần rút từ phân phối sau). Nếu giả định này được thỏa mãn, thì bạn có thể có được các biện pháp dự đoán cho từng quan sát như thể quan sát đó đã bị bỏ qua, hậu thế đã được rút ra từ điều kiện trên các quan sát còn lại, và phân phối dự báo sau được xây dựng cho quan sát bị bỏ qua. Nếu dự đoán của bạn về các quan sát trái bị ảnh hưởng, thì mô hình của bạn đã bị quá mức để bắt đầu. Những ý tưởng này được thực hiện trong gói loo cho R, bao gồm các trích dẫn như ở đây và ở đó .

Theo như chưng cất đến một con số, tôi muốn tính tỷ lệ các quan sát nằm trong khoảng dự đoán 50%. Trong phạm vi tỷ lệ này lớn hơn một nửa, mô hình bị quá mức, mặc dù bạn cần nhiều hơn một số quan sát để cắt nhiễu trong chức năng chỉ báo bao gồm. Để so sánh các mô hình khác nhau (có thể phù hợp hơn), mật độ dự báo nhật ký dự kiến ​​(được tính bởi loohàm trong loogói) là một biện pháp tốt (được đề xuất bởi IJ Good) bởi vì nó tính đến khả năng một mô hình linh hoạt hơn có thể phù hợp với dữ liệu có sẵn tốt hơn mô hình kém linh hoạt hơn nhưng dự kiến ​​sẽ dự đoán dữ liệu trong tương lai tồi tệ hơn. Nhưng những ý tưởng này có thể được áp dụng cho kỳ vọng của bất kỳ biện pháp dự đoán nào (có thể trực quan hơn đối với các học viên); xem E_loochức năng trong gói loo .

[*] Bạn phải chọn những gì cấu thành một quan sát trong mô hình phân cấp. Ví dụ, bạn có quan tâm đến việc dự đoán một bệnh nhân mới hoặc một mốc thời gian mới cho một bệnh nhân hiện tại không? Bạn có thể làm một trong hai cách, nhưng trước đây yêu cầu bạn (viết lại) hàm khả năng để tích hợp các tham số dành riêng cho bệnh nhân.

Quá mức có nghĩa là mô hình hoạt động tốt trên tập huấn luyện nhưng hoạt động kém trên tập kiểm tra. IMHO, nó đến từ hai nguồn: dữ liệu và mô hình chúng tôi sử dụng (hoặc tính chủ quan của chúng tôi).

$k$

Kết quả là, nếu chúng ta là người thường xuyên thì nguồn cung cấp quá mức đến từ MLE. Nếu chúng ta là Bayes thì điều này xuất phát từ sự lựa chọn (chủ quan) của phân phối trước (và tất nhiên là sự lựa chọn khả năng)). Vì vậy, ngay cả khi bạn sử dụng phân phối sau / trung bình / trung bình, bạn đã bị quá mức ngay từ đầu và việc quá mức này được thực hiện theo. Sự lựa chọn đúng đắn của phân phối trước và khả năng sẽ giúp ích nhưng chúng vẫn là mô hình, bạn không bao giờ có thể tránh hoàn toàn quá mức.