Hồi quy sườn - giải thích Bayes

Tôi đã nghe nói rằng hồi quy sườn có thể được coi là giá trị trung bình của phân phối sau, nếu ưu tiên được chọn đầy đủ. Có phải trực giác rằng các ràng buộc như được đặt trên các hệ số hồi quy theo trước (ví dụ: phân phối chuẩn bình thường quanh 0) là giống hệt nhau / thay thế cho hình phạt được đặt trên kích thước bình phương của các hệ số? Có phải trước đó phải là Gaussian cho sự tương đương này để giữ?

Không, theo nghĩa là các linh mục khác làm một cách hợp lý liên quan đến các hình phạt khác. Nói chung, bạn muốn có thêm khối lượng gần bằng 0 ( ) để giảm quá mức / giải thích quá mức. Sườn là một hình phạt bậc hai (L2, Gaussian), lasso là một | β | Hình phạt (L1, Laplace hoặc phân phối theo cấp số nhân). Nhiều hình phạt khác (linh mục) có sẵn. Cách tiếp cận Bayes có lợi thế là mang lại một cách giải thích vững chắc (và các khoảng tin cậy vững chắc) trong khi ước tính khả năng tối đa bị phạt (sườn núi, lasso, v.v.) mang lại giá trị P và các khoảng tin cậy khó diễn giải, bởi vì cách tiếp cận thường xuyên bị nhầm lẫn bởi các ước lượng sai lệch (thu nhỏ về không).$\beta=0$$|\beta|$$P$

Hai điểm:

Phân phối sau trong trường hợp Bayes là một phân phối. Ước tính hồi quy sườn núi chỉ đơn giản là một vectơ$\hat{\beta}$và không phải là một bản phân phối. Do đó, chúng không hoàn toàn tương đương.

Đúng là trong trường hợp khả năng bình thường đa biến trước và đa biến bình thường, thì sau là đa biến bình thường với ước tính hồi quy sườn cho một tham số sườn được chọn phù hợp.

Bằng chứng về điều này phụ thuộc vào hình thức cụ thể của ưu tiên và khả năng và không hoạt động đối với các chức năng tổng quát hoặc chức năng khả dĩ hơn.