Là MLE với chính quy hóa một phương pháp bayes?


8

Người ta thường nói rằng các linh mục về thống kê bayes có thể được coi là các yếu tố chính quy vì họ xử phạt các giải pháp trong đó các mật độ xác suất thấp trước đó.

Sau đó, đưa ra mô hình đơn giản này có tham số MLE là:

mộtrgmmộtxμ N(y;μ,σ)

và tôi thêm một ưu tiên: các tham số không phải là tham số MLE nhưng các thông số MAP.

mộtrgmmộtxμ N(y;μ,σ)N(μ;0,σ0)

Câu hỏi : Điều này có nghĩa là nếu tôi giới thiệu một số chính quy trong mô hình của mình, tôi đang thực hiện phân tích bayes (ngay cả khi chỉ sử dụng ước tính điểm)?

Hoặc điều này chỉ vô nghĩa khi tạo ra sự khác biệt "bản thể học" vào thời điểm này vì phương pháp tìm MLE hoặc MAP là giống nhau (phải không?)?

Câu trả lời:


10

Điều đó có nghĩa là phân tích có cách giải thích Bayes, nhưng điều đó không có nghĩa là nó cũng có thể không có cách giải thích thường xuyên. Ước tính MAP có thể được xem là một cách tiếp cận Bayes một phần, với cách tiếp cận Bayes hoàn chỉnh hơn là xem xét phân phối sau trên các tham số. Tuy nhiên, đây vẫn là một cách tiếp cận Bayes, vì định nghĩa về xác suất sẽ là "mức độ hợp lý", thay vì tần suất chạy dài.


5

Nếu bạn sử dụng định mức L2, nghĩa là hình phạt bậc hai đối với hàm khả năng ghi nhật ký, hình phạt rất giống với thủ tục Bayes với Gaussian trước với giá trị trung bình bằng 0 đối với các hệ số hồi quy không chặn. Nhưng không giống như quy trình Bayes đầy đủ có yếu tố không chắc chắn về mức phạt (tương tự như xử lý phương sai của các hiệu ứng ngẫu nhiên như thể là một hằng số đã biết), thủ tục khả năng tối đa bị phạt giả định rằng hình phạt tối ưu được quy định trước và không phải là một tham số chưa biết. Vì vậy, nó dẫn đến giới hạn độ tin cậy là một chút quá hẹp.


2
Điểm tốt +1, không tính đến độ không đảm bảo trong siêu tham số là Empirical Bayes.
Dikran Marsupial
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.