Có phải Bayesian Ridge Regression là tên gọi khác của Bayesian Regression?


11

Tôi đã tìm kiếm về Bayesian Ridge Regression trên Internet nhưng hầu hết kết quả tôi đạt được là về Bayesian Regression. Tôi tự hỏi nếu nó là cả hai điều giống nhau bởi vì công thức trông khá giống nhau

Câu trả lời:


20

Hồi quy sử dụng chính quy với định mức , trong khi hồi quy Bayes , là mô hình hồi quy được xác định theo thuật ngữ xác suất, với các mục sư rõ ràng về các tham số. Sự lựa chọn của các linh mục có thể có tác dụng chính quy hóa, ví dụ sử dụng các linh mục Laplace cho các hệ số tương đương với chính quy . Chúng không giống nhau, bởi vì hồi quy sườn là một loại mô hình hồi quy và phương pháp Bayes là một cách chung để xác định và ước tính các mô hình thống kê có thể được áp dụng cho các mô hình khác nhau.L2L1

Mô hình hồi quy sườn được định nghĩa là

argminβyXβ22+λβ22

Trong cài đặt Bayes, chúng tôi ước tính phân phối sau bằng cách sử dụng định lý Bayes

p(θ|X)p(X|θ)p(θ)

Hồi quy độ dốc có nghĩa là giả sử khả năng Bình thường và Bình thường trước cho các tham số. Sau khi giảm hằng số chuẩn hóa, hàm mật độ log của phân phối chuẩn là

logp(x|μ,σ)=log[1σ2πe12(xμσ)2]=log[1σ2π]+log[e12(xμσ)2]12(xμσ)21σ2xμ22

Bây giờ bạn có thể thấy rằng tối đa hóa khả năng đăng nhập bình thường, với các linh mục bình thường tương đương với việc giảm thiểu tổn thất bình phương, với hình phạt sườn núi

argmaxβlogN(y|Xβ,σ)+logN(0,τ)=argminβ{logN(y|Xβ,σ)+logN(0,τ)}=argminβ1σ2yXβ22+1τ2β22

Để đọc thêm về hồi quy và chính quy, hãy xem các chủ đề: Tại sao ước tính sườn núi trở nên tốt hơn OLS bằng cách thêm một hằng số vào đường chéo? vấn đề nào làm phương pháp thu nhỏ giải quyết? khi nào tôi nên sử dụng lasso vs sườn núi? Tại sao hồi quy sườn núi được gọi là "sườn núi", tại sao lại cần thiết và điều gì xảy ra khi đi đến vô cùng? λ, và nhiều người khác chúng ta có .


Cảm ơn câu trả lời! tôi đã cố gắng hiểu những lợi thế của định mức , lời giải thích trên Scikit hơi phức tạp đối với tôi. Sẽ thật tuyệt nếu bạn có thể chỉ ra vấn đề với Bình phương tối thiểu thông thườngL2
Thiên

1
@Thien xem bản chỉnh sửa cho một số liên kết
Tim
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.