Bayesian Lasso vs Lasso bình thường

Phần mềm thực hiện khác nhau có sẵn cho lasso . Tôi biết rất nhiều thảo luận về cách tiếp cận Bayes so với cách tiếp cận thường xuyên trong các diễn đàn khác nhau. Câu hỏi của tôi rất cụ thể đối với Lasso - Sự khác biệt hoặc lợi thế của Bassoian Lasso so với Lasso thông thường là gì?

Dưới đây là hai ví dụ về việc thực hiện trong gói:

# just example data
set.seed(1233)
X <- scale(matrix(rnorm(30),ncol=3))[,]
set.seed(12333)
Y <- matrix(rnorm(10, X%*%matrix(c(-0.2,0.5,1.5),ncol=1), sd=0.8),ncol=1)

require(monomvn) 
## Lasso regression
reg.las <- regress(X, Y, method="lasso")

## Bayesian Lasso regression
reg.blas <- blasso(X, Y)

Vì vậy, khi nào tôi nên đi cho một hoặc các phương pháp khác? Hay họ giống nhau?

Lasso tiêu chuẩn sử dụng hình phạt chính quy L1 để đạt được độ thưa trong hồi quy. Lưu ý rằng điều này còn được gọi là Theo đuổi cơ sở .

Trong khuôn khổ Bayes, sự lựa chọn của người thường xuyên tương tự như sự lựa chọn trước về trọng lượng. Nếu sử dụng Gaussian trước, thì giải pháp Maximum a Posteriori (MAP) sẽ giống như khi sử dụng hình phạt L2. Mặc dù không tương đương trực tiếp, Laplace trước (cực đại mạnh về 0, không giống như Gaussian trơn xung quanh 0), tạo ra hiệu ứng co rút tương tự với hình phạt L1. Bài viết này mô tả Bayesian Lasso. .

Trong thực tế, khi bạn đặt Laplace trước các tham số, giải pháp MAP phải giống hệt (không chỉ tương tự) với chính quy với hình phạt L1 và Laplace trước sẽ tạo ra hiệu ứng co rút giống hệt với hình phạt L1. Tuy nhiên, do các xấp xỉ trong thủ tục suy luận Bayes hoặc các vấn đề số khác, các giải pháp có thể không thực sự giống hệt nhau.

Trong hầu hết các trường hợp, kết quả được tạo ra bởi cả hai phương pháp sẽ rất giống nhau. Tùy thuộc vào phương pháp tối ưu hóa và liệu có sử dụng xấp xỉ hay không, Lasso tiêu chuẩn có thể sẽ hiệu quả hơn để tính toán so với phiên bản Bayes. Bayesian tự động tạo ước tính khoảng cho tất cả các tham số, bao gồm cả phương sai lỗi, nếu những điều này là bắt buộc.

"Bình phương tối thiểu" có nghĩa là giải pháp tổng thể giảm thiểu tổng bình phương các lỗi xảy ra trong kết quả của mọi phương trình đơn. Ứng dụng quan trọng nhất là trong việc khớp dữ liệu. Sự phù hợp nhất theo nghĩa bình phương nhỏ nhất giảm thiểu tổng số bình phương còn lại, phần dư là sự khác biệt giữa giá trị quan sát và giá trị phù hợp được cung cấp bởi một mô hình. Các vấn đề bình phương nhỏ nhất rơi vào hai loại: bình phương tuyến tính hoặc bình thường nhỏ nhất và không bình phương tối thiểu tuyến tính, tùy thuộc vào việc phần dư có tuyến tính trong tất cả các ẩn số hay không.

Hồi quy tuyến tính Bayes là một cách tiếp cận với hồi quy tuyến tính, trong đó phân tích thống kê được thực hiện trong bối cảnh suy luận Bayes. Khi mô hình hồi quy có lỗi có phân phối bình thường và nếu giả sử một hình thức phân phối trước cụ thể, kết quả rõ ràng có sẵn cho phân phối xác suất sau của các tham số của mô hình.

$\|\beta\|^2$

$\|\beta\|_1$

Một trong những điểm khác biệt chính giữa Lasso và hồi quy sườn là trong hồi quy sườn, khi hình phạt được tăng lên, tất cả các tham số đều giảm trong khi vẫn duy trì khác không, trong khi ở Lasso, việc tăng hình phạt sẽ khiến ngày càng nhiều tham số hướng về không.

Bài viết này so sánh Lasso thông thường với Bayesian Lasso và hồi quy sườn núi (xem hình 1 ).