Bayesian và entropy tối đa

Giả sử rằng số lượng mà chúng ta muốn suy ra là phân phối xác suất. Tất cả những gì chúng ta biết là phân phối đến từ một tập hợp xác định, giả sử, trong một số thời điểm của nó và chúng ta có trước đó .$E$$Q$

Nguyên tắc entropy tối đa (MEP) nói rằng có entropy tương đối ít nhất từ (nghĩa là ) là lựa chọn tốt nhất. Trong khi đó, quy tắc lựa chọn Bayes có một quá trình lựa chọn hậu thế được đưa ra trước đó được hỗ trợ bởi định lý Bayes.$P^{\star}\in E$$Q$$P^{\star}=\displaystyle \text{argmin}_{P\in E}D(P\|Q)$

Câu hỏi của tôi là liệu có bất kỳ mối liên hệ nào giữa hai phương pháp suy luận này (nghĩa là, liệu hai phương pháp này có áp dụng cho cùng một vấn đề và có điểm gì chung không)? Hoặc liệu trong suy luận Bayes, cài đặt hoàn toàn khác với cài đặt được đề cập ở trên? Hay là tôi không có ý nghĩa?!

Điều này có thể đến muộn một chút, nhưng câu hỏi nên được đặt lại: như được định nghĩa bởi Jaynes , entropy tối đa là một cách để xây dựng một phân phối trước đó (a) thỏa mãn các ràng buộc áp đặt bởi và (b) có entropy tối đa, liên quan đến một thước đo tham chiếu trong trường hợp liên tục: Do đó, entropy tối đa (của Jaynes) rõ ràng là một phần của hộp công cụ Bayes. Và entropy tối đa trước không cung cấp phân phối trước gần nhất với trước thực, như được đề xuất bởi câu hỏi của Ashok .∫ - log [ π ( θ ) ] d μ ( θ $E$

Suy luận Bayes về phân phối là một vấn đề hoàn toàn khác, được xử lý bởi các phi tham số Bayes (xem, ví dụ, cuốn sách gần đây của Hjort et al.). Nó đòi hỏi phải có các quan sát từ , dường như không phải là thiết lập của câu hỏi hiện tại ...$Q$$Q$