mô hình Bayes phân cấp so với Bayes theo kinh nghiệm


12

Bạn có coi HBM vs EB là hai lựa chọn thay thế trong đó các siêu đường kính là "trong trò chơi" được lấy mẫu / ước tính / vv.? Rõ ràng có một kết nối giữa hai.

Bạn có xem xét HBM "Bayesian" đầy đủ hơn EB không? Có nơi nào mà tôi có thể thấy sự khác biệt giữa việc "hoàn toàn Bayes" và các lựa chọn thay thế khác không?

Cảm ơn.


1
Đối với một cuộc thảo luận về "Bayesian đầy đủ" và "Bay theo kinh nghiệm" nghĩa là gì, hãy xem câu trả lời trong "Hồi đầy đủ Bayesian và vs Bay Bayianian" .

cảm ơn Procrastinator. Tôi vẫn muốn nghe một phản hồi về mối quan hệ với các mô hình Bayes phân cấp, nếu có thể.
singelton

1
Bạn có thể tìm thấy điều này trong mục nhập wikipedia Phương pháp Empirical Bayes : "Bayes theo kinh nghiệm có thể được xem như là một phép tính gần đúng với cách xử lý Bayes hoàn toàn của một mô hình phân cấp trong đó các tham số ở mức cao nhất của hệ thống phân cấp được đặt thành các giá trị có khả năng nhất của chúng, thay vì được tích hợp ".

Câu trả lời:


10

Tôi muốn nói rằng HBM chắc chắn là "nhiều Bayes" hơn EB, vì ngoài lề là một cách tiếp cận Bayes hơn là tối ưu hóa. Về cơ bản, đối với tôi, EB bỏ qua sự không chắc chắn trong các tham số siêu, trong khi HBM cố gắng đưa nó vào phân tích. Tôi nghi ngờ HMB là một ý tưởng tốt khi có ít dữ liệu và do đó không chắc chắn đáng kể trong các tham số siêu, phải được tính đến. Mặt khác, đối với các bộ dữ liệu lớn, EB trở nên hấp dẫn hơn vì nó thường ít tốn kém về mặt tính toán và khối lượng dữ liệu thường có nghĩa là kết quả ít nhạy cảm hơn với các cài đặt siêu tham số.

Tôi đã làm việc trên các trình phân loại quy trình Gaussian và thường xuyên tối ưu hóa các tham số siêu để tối đa hóa khả năng cận biên dẫn đến việc điều chỉnh quá mức ML và do đó làm giảm đáng kể hiệu suất tổng quát. Tôi nghi ngờ trong những trường hợp đó, một điều trị HBM đầy đủ sẽ đáng tin cậy hơn, nhưng cũng tốn kém hơn nhiều.


6
+1 cho EB bỏ qua sự không chắc chắn trong các tham số siêu . Ngoài ra, những người theo chủ nghĩa cơ bản Bayes coi EB chống Bayes vì sử dụng dữ liệu để ước tính trước đó là báng bổ .

4
Rõ ràng tôi không phải là một Bayesian tài trợ rồi! HBM dường như là điều đúng đắn, với điều kiện nó thực sự khả thi về mặt tính toán, vào cuối ngày bạn cần phải thực dụng ở một mức độ nào đó (sau khi đã mua máy tính lớn nhất hiện có; o).
Dikran Marsupial
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.