Phân phối dự báo sau so với ước tính MAP

Hãy xem xét một tập dữ liệu huấn luyện , một mô hình xác suất được tham số hóa bởi và trước đó . Đối với điểm dữ liệu mới , chúng ta có thể tính bằng cách sử dụng:$X$$\theta$$P(\theta)$$x^*$$P(x^*)$

• một cách tiếp cận hoàn toàn bay bổng: phân phối dự báo sau$P(x^* | X) = \int P(\theta|X) P(x^*|\theta) d\theta$
• khả năng được tham số hóa bằng ước tính tối đa của posteriori : , trong đó$P(x^* | \theta_{MAP})$$\theta_{MAP} = \text{argmax}_\theta P(\theta|X)$

Là cách tiếp cận đầy đủ Bayes luôn luôn "tốt hơn" so với cách tiếp cận MAP? Chính xác hơn, cách tiếp cận MAP có phải là xấp xỉ của phương pháp bayes, theo nghĩa là chúng ta đang hy vọng rằng là một xấp xỉ tốt của ?$P(x^* | \theta_{MAP})$$P(x^* | X)$

Tôi thường nghĩ về nó theo cách này. Theo cách tiếp cận hoàn toàn Bayes, chúng tôi tìm thấy tích phân

như tích hợp trên tất cả các mô hình có thể (thực tế là rất nhiều) và chúng tôi đưa ra dự đoán sẽ đưa tất cả các mô hình này vào "xem xét". Vì điều này thường khó hiểu, chúng tôi sử dụng ước tính MAP của sau , tương ứng với việc đánh giá cùng một tích phân nhưng lần này sử dụng một phần nhỏ vô hạn của , cụ thể là tối đa . Nói cách khác, chúng tôi nhân với một "phân phối delta" mới nằm ở mức tối đa của phân phối sau và tích hợp điều này để có được dự đoán.$p(\theta|X)$$p(\theta|X)$$p(x^*|\theta)$

Do đó, sự khác biệt khá rõ ràng: một điều trị Bayes hoàn toàn tương ứng với một mô hình vô hạn của các mô hình, trong đó một dự đoán đã cho được xác định bởi xác suất mô hình , tức là nhiều mô hình có khả năng sẽ đóng góp nhiều hơn cho dự đoán. Ước tính MAP của các tham số sẽ đưa ra dự đoán từ một mô hình cụ thể, cụ thể là mô hình có khả năng nhất theo định lý Bayes. Lý thuyết của bộ đồng phục cho chúng ta thấy rằng chúng ta thường có được sự khái quát hóa tốt hơn và dự đoán chính xác hơn và do đó điều này thường sẽ "tốt hơn" so với MAP.$p(x|\textbf{x},\theta)$$p(\theta|\textbf{x})$

Hi vọng điêu nay co ich.

Giả sử mô hình của bạn được chỉ định chính xác, phân phối dự đoán sẽ đưa ra ước tính về điểm dữ liệu mới có tính đến tất cả sự không chắc chắn trong tham số chưa biết . Trong phương pháp thứ hai, trong đó bạn chỉ sử dụng thay thế tham số bằng công cụ ước tính của mình, bạn đang coi đây là công cụ ước tính hoàn hảo của tham số chưa biết và do đó phân phối "dự đoán" không tính đến độ không đảm bảo của tham số chưa biết . Vì lý do này, phân phối sau sẽ có xu hướng có độ biến thiên thấp hơn so với phân phối trước và nếu mô hình của bạn được chỉ định chính xác, điều này có nghĩa là nó đánh giá thấp sự biến đổi của điểm dữ liệu mới. Vì vậy, có, phân phối dự đoán thường được coi là "tốt hơn".$\theta$$\theta$

Ngẫu nhiên, loại so sánh này không dành riêng cho thống kê Bayes. Các phương pháp mà bạn đang so sánh rất giống với các phương pháp tương tự xảy ra trong phương pháp thường xuyên, trong đó người ta có thể sử dụng một đại lượng quan trọng để có được khoảng tin cậy thích hợp cho một điểm dữ liệu mới (tương tự như khoảng dự đoán Bayes) hoặc chỉ có thể thay thế MLE như thể nó là một giá trị tham số đã biết và có được một khoảng cho một điểm dữ liệu mới từ phân phối lấy mẫu (tương tự như phương pháp thay thế tham số Bayes).