Tại sao sử dụng ước tính Lasso trên ước tính OLS trên tập hợp con của Lasso được xác định?

Chúng tôi biết rằng $\left(\hat{\beta}_1^{lasso},\hat{\beta}_2^{lasso},...,\hat{\beta}_k^{lasso}\right)$ là một ước tính sai lệch của $\left(\beta_1,\beta_2,...,\beta_k\right)$ , vậy tại sao chúng ta vẫn lấy $\hat{\beta}^{lasso}$ làm giải pháp cuối cùng, thay vì 'hợp lý' hơn $\hat{\beta}^{new}=\left(\hat{\beta}_{1:k}^{new},0,...,0\right)$ , trong đó $\hat{\beta}_{1:k}^{new}$ là ước tính LS từ mô hình một phần $L^{new}(\beta_{1:k})=(X_{1:k}\beta-y)'(X_{1:k}\beta-y)$ . ( $X_{1:k}$ biểu thị các cột của $X$ tương ứng với các tính năng được chọn $k$ ).

Tóm lại, tại sao chúng ta sử dụng Lasso cả cho lựa chọn tính năng và ước tính tham số, thay vì chỉ cho lựa chọn biến (và để lại ước tính trên các tính năng được chọn cho OLS)?

(Ngoài ra, điều gì có nghĩa là 'Lasso có thể chọn tối đa $n$ tính năng'? $n$ là kích thước mẫu.)

Tôi không tin có gì sai khi sử dụng LASSO cho lựa chọn biến và sau đó sử dụng OLS. Từ " Các yếu tố của học thống kê " (trang 91)

... Độ co rút của Lasso làm cho các ước tính của các hệ số khác không bị sai lệch về 0 và nói chung chúng không nhất quán [ Ghi chú thêm: Điều này có nghĩa là, khi kích thước mẫu tăng lên, các ước tính hệ số không hội tụ] . Một cách tiếp cận để giảm sai lệch này là chạy Lasso để xác định tập hợp các hệ số khác không, và sau đó khớp một mô hình tuyến tính không bị hạn chế với tập hợp các tính năng được chọn. Điều này không phải lúc nào cũng khả thi, nếu bộ được chọn là lớn. Ngoài ra, người ta có thể sử dụng Lasso để chọn tập hợp các yếu tố dự đoán khác không, sau đó áp dụng lại Lasso, nhưng chỉ sử dụng các yếu tố dự đoán được chọn từ bước đầu tiên. Điều này được gọi là Lasso thư giãn(Meinshausen, 2007). Ý tưởng là sử dụng xác thực chéo để ước tính tham số hình phạt ban đầu cho Lasso và sau đó một lần nữa cho tham số hình phạt thứ hai được áp dụng cho bộ dự đoán đã chọn. Do các biến trong bước thứ hai có ít "cạnh tranh" hơn từ các biến nhiễu, nên xác thực chéo sẽ có xu hướng chọn giá trị nhỏ hơn cho [tham số hình phạt] và do đó, hệ số của chúng sẽ bị thu hẹp ít hơn so với ước tính ban đầu.$\lambda$

Một cách tiếp cận hợp lý khác tương tự về tinh thần với Lasso thư giãn, sẽ là sử dụng Lasso một lần (hoặc nhiều lần song song) để xác định một nhóm các biến dự đoán ứng viên. Sau đó sử dụng hồi quy tập hợp con tốt nhất để chọn các biến dự đoán tốt nhất để xem xét (cũng xem "Các yếu tố của học thống kê" cho điều này). Để làm việc này, bạn sẽ cần tinh chỉnh nhóm dự đoán ứng viên xuống khoảng 35, điều này sẽ không khả thi. Bạn có thể sử dụng xác nhận chéo hoặc AIC làm tiêu chí để ngăn chặn sự phù hợp quá mức.

Nếu mục tiêu của bạn là hiệu suất trong mẫu tối ưu (bình phương R cao nhất), thì chỉ cần sử dụng OLS trên mỗi biến có sẵn. Các biến giảm sẽ làm giảm bình phương R.

Nếu mục tiêu của bạn là hiệu suất ngoài mẫu tốt (thường là điều quan trọng hơn nhiều), thì chiến lược được đề xuất của bạn sẽ phải chịu từ hai nguồn quá mức:

• Lựa chọn các biến dựa trên mối tương quan với biến trả lời
• Ước tính OLS

Mục đích của LASSO là thu nhỏ các ước tính tham số về 0 để chống lại hai nguồn quá mức. Dự đoán trong mẫu sẽ luôn tệ hơn OLS, nhưng hy vọng là (tùy thuộc vào độ mạnh của hình phạt) để có được hành vi ngoài mẫu thực tế hơn.

Về : Điều này (có thể) phụ thuộc vào việc triển khai LASSO bạn đang sử dụng. Một biến thể, Lars (hồi quy góc nhỏ nhất), không dễ dàng làm việc cho .$p > n$$p > n$

Liên quan đến câu hỏi của OP về lý do tại sao Lasso có thể chọn tối đa n tính năng:

Xem xét tại sao một OLS có thể bị sai lệch: đây là khi có nhiều dự đoán ( p ) hơn các quan sát ( n ). Do đó có kích thước [p, p] trong . Lấy một nghịch đảo của một ma trận như vậy là không thể (nó có thể là số ít).$X^{T}X$$\beta = (X^{T} X)^{-1}X^{T}Y$

Lasso buộc phải thu nhỏ các hệ số của các biến để điều này không xảy ra, do đó nó không bao giờ chọn nhiều hơn n tính năng để luôn không thể nghịch đảo.$X^{T}X$