Tại sao hình phạt Lasso tương đương với số mũ đôi (Laplace) trước đó?

Tôi đã đọc trong một số tài liệu tham khảo rằng ước tính Lasso cho vectơ tham số hồi quy tương đương với chế độ sau của trong đó phân phối trước cho mỗi B_i là phân phối lũy thừa kép (còn được gọi là phân phối Laplace).B B $B$$B$$B_i$

Tôi đã cố gắng để chứng minh điều này, ai đó có thể xác thịt chi tiết không?

Để đơn giản, chúng ta chỉ cần xem xét một quan sát duy nhất về một biến $Y$ sao cho

$\mu \sim \mbox{Laplace}(\lambda)$ và trước đó không đúng .$f(\sigma) \propto \mathbb{1}_{\sigma>0}$

Khi đó mật độ khớp của tỷ lệ với f (Y, \ mu, \ sigma ^ 2 | \ lambda) \ propto \ frac {1} {\ sigma} \ exp \ left (- \ frac {(y- \ mu) ^ 2} {\ sigma ^ 2} \ right) \ lần 2 \ lambda e ^ {- \ lambda \ vert \ mu \ vert}. f ( Y , μ , σ 2 | bước sóng ) α $Y, \mu, \sigma^2$

Lấy nhật ký và loại bỏ các thuật ngữ không liên quan đến $\mu$ ,

Do đó, mức tối đa của (1) sẽ là ước tính MAP và thực sự là vấn đề Lasso sau khi chúng tôi reparetrize $\tilde \lambda = \lambda \sigma^2$ .

Phần mở rộng cho hồi quy là rõ ràng - thay thế bằng theo khả năng Bình thường và đặt ưu tiên trên thành một chuỗi các bản phân phối laplace độc lập .X β β ( λ $\mu$$X\beta$$\beta$$(\lambda)$

Điều này là hiển nhiên khi kiểm tra số lượng mà LASSO đang tối ưu hóa.

Lấy ưu tiên cho là Laplace độc ​​lập với giá trị trung bình bằng 0 và một số tỷ lệ .$\beta_i$$\tau$

Vì vậy, .$p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

Mô hình cho dữ liệu là giả định hồi quy thông thường .$y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

Bây giờ trừ hai lần nhật ký của hậu thế có dạng

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

Đặt và chúng tôi nhận được -posterior của$\lambda=\sigma^2/\tau$$-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

Công cụ ước tính MAP cho giảm thiểu tối đa ở trên, giúp giảm thiểu$\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

Vì vậy, công cụ ước tính MAP cho là LASSO.$\beta$

(Ở đây tôi đã xử lý như đã được sửa một cách hiệu quả nhưng bạn có thể làm những việc khác với nó và vẫn đưa LASSO ra mắt.)$\sigma^2$

Chỉnh sửa: Đó là những gì tôi nhận được khi soạn câu trả lời; Tôi không thấy một câu trả lời hay đã được đăng bởi Andrew. Của tôi thực sự không làm bất cứ điều gì anh ấy chưa làm. Bây giờ tôi sẽ rời khỏi tôi vì nó cung cấp thêm một vài chi tiết về sự phát triển về mặt .$\beta$