Tại sao thì thư giãn của Lasso mật khác với Lasso tiêu chuẩn?

Nếu chúng ta bắt đầu với một tập hợp dữ liệu , áp dụng Lasso cho nó và thu được giải pháp β L , chúng ta có thể áp dụng Lasso một lần nữa cho tập dữ liệu ( X S , Y ) , trong đó S là tập hợp khác không các chỉ số của β L , để có được một giải pháp, β R L , được gọi là giải pháp 'thư giãn LASSO' (sửa tôi nếu tôi sai!). Giải pháp β L phải đáp ứng các điều kiện Karush của Kuhn Young Tucker (KKT) cho ( X , Y $(X,Y)$$\beta^L$$(X_S, Y)$$S$$\beta^L$$\beta^{RL}$$\beta^L$$(X,Y)$nhưng, với dạng điều kiện KKT cho , không phải nó cũng thỏa mãn những điều này sao? Nếu vậy, quan điểm của việc làm LASSO lần thứ hai là gì?$(X_S, Y)$

Câu hỏi này là một câu hỏi tiếp theo: Ưu điểm của việc thực hiện "nhân đôi" hoặc thực hiện Lasso hai lần?

Từ định nghĩa 1 của Meinshausen (2007) , có hai tham số điều khiển giải pháp của Lasso thư giãn.

Người đầu tiên, , kiểm soát lựa chọn biến, trong khi thứ hai, φ , kiểm soát mức độ co rút. Khi ϕ = 1 cả Lasso và thư giãn-Lasso đều giống nhau (như bạn đã nói!), Nhưng với ϕ < 1, bạn có được một giải pháp với các hệ số gần hơn với phép chiếu trực giao trên các biến đã chọn (loại sai lệch mềm ).$\lambda$$\phi$$\phi= 1$$\phi<1$

Công thức này thực sự tương ứng để giải quyết hai vấn đề:

1. $\lambda$
2. $X_S$$X$$\lambda\phi$