Tôi đã từng nghe một phương pháp sử dụng Lasso hai lần (như một Lasso đôi) trong đó bạn thực hiện Lasso trên tập biến ban đầu, giả sử S1, lấy một tập thưa thớt gọi là S2, và sau đó thực hiện lại Lasso trên tập S2 để lấy tập S3 . Có một thuật ngữ phương pháp cho điều này? Ngoài ra, những lợi thế của việc làm Lasso hai lần là gì?
Câu trả lời:
Vâng, thủ tục bạn đang yêu cầu (hoặc nghĩ đến) được gọi là lasso thư giãn .
Ý tưởng chung là trong quá trình thực hiện LASSO lần đầu tiên, bạn có thể bao gồm cả "các biến nhiễu"; thực hiện LASSO trên một bộ biến thứ hai (sau LASSO thứ nhất) sẽ tạo ra sự cạnh tranh ít hơn giữa các biến là "đối thủ thực sự" để trở thành một phần của mô hình chứ không chỉ là biến "nhiễu". Về mặt kỹ thuật, những gì phương pháp này nhắm đến là vượt qua sự hội tụ chậm (đã biết) của LASSO trong các bộ dữ liệu với số lượng lớn các biến.
Bạn có thể đọc thêm về nó trên bài báo gốc của Meinshausen (2007) .
Tôi cũng đề xuất phần 3.8.5 về các yếu tố của học thống kê (Hastie, Tibshirani & Friedman, 2008) , đưa ra một cái nhìn tổng quan về các phương pháp rất thú vị khác để thực hiện lựa chọn biến bằng LASSO.
Ý tưởng là để tách hai hiệu ứng của Lasso
Ý tưởng của Lasso thư giãn là bạn tách hai hiệu ứng: bạn sử dụng một hình phạt cao trên đường chuyền đầu tiên để chọn các biến; và một hình phạt nhỏ hơn trên đường chuyền thứ hai để thu hẹp chúng bằng một lượng nhỏ hơn.
Bài báo gốc (như được liên kết bởi Néstor) cung cấp thêm chi tiết.