Tại sao lựa chọn tập hợp con tốt nhất không được ưa chuộng so với lasso?

Tôi đang đọc về lựa chọn tập hợp con tốt nhất trong các yếu tố của cuốn sách học thống kê. Nếu tôi có 3 dự đoán , tôi tạo tập con:$x_1,x_2,x_3$$2^3=8$

1. Tập hợp con không có dự đoán
2. tập hợp con với bộ dự đoán$x_1$
3. tập hợp con với công cụ dự đoán$x_2$
4. tập hợp con với bộ dự đoán$x_3$
5. tập hợp con với các yếu tố dự đoán$x_1,x_2$
6. tập hợp con với các yếu tố dự đoán$x_1,x_3$
7. tập hợp con với các yếu tố dự đoán$x_2,x_3$
8. tập hợp con với các yếu tố dự đoán$x_1,x_2,x_3$

Sau đó, tôi kiểm tra tất cả các mô hình trên dữ liệu thử nghiệm để chọn mô hình tốt nhất.

Bây giờ câu hỏi của tôi là tại sao lựa chọn tập hợp con tốt nhất không được ưa chuộng so với lasso?

Nếu tôi so sánh các hàm ngưỡng của tập hợp con và lasso tốt nhất, tôi thấy rằng tập hợp con tốt nhất đặt một số hệ số về 0, như lasso. Nhưng, hệ số khác (khác không) sẽ vẫn có các giá trị ols, chúng sẽ không thiên vị. Trong khi đó, trong lasso, một số hệ số sẽ bằng 0 và các hệ số khác (khác không) sẽ có một số sai lệch. Hình dưới đây cho thấy nó tốt hơn:

Từ hình ảnh, một phần của đường màu đỏ trong trường hợp tập hợp con tốt nhất là nằm trên đường màu xám. Phần khác nằm trong trục x trong đó một số hệ số bằng không. Đường màu xám xác định các giải pháp không thiên vị. Trong lasso, một số sai lệch được giới thiệu bởi . Từ hình này tôi thấy rằng tập hợp con tốt nhất là tốt hơn lasso! Những nhược điểm của việc sử dụng tập hợp con tốt nhất là gì?$\lambda$

Trong lựa chọn tập hợp con, các tham số khác không sẽ không thiên vị nếu bạn đã chọn một siêu bộ của mô hình chính xác, nghĩa là, nếu bạn đã loại bỏ chỉ các dự đoán có giá trị hệ số thực bằng 0. Nếu quy trình lựa chọn của bạn khiến bạn loại trừ một người dự đoán có hệ số khác không thực sự, tất cả các ước tính hệ số sẽ bị sai lệch. Điều này đánh bại đối số của bạn nếu bạn đồng ý rằng lựa chọn thường không hoàn hảo.

Do đó, để đảm bảo "chắc chắn" cho ước tính mô hình không thiên vị, bạn nên sai ở khía cạnh bao gồm nhiều hơn, hoặc thậm chí tất cả các dự đoán có liên quan. Đó là, bạn không nên chọn tất cả.

Tại sao đây là một ý tưởng tồi? Bởi vì sự đánh đổi sai lệch. Có, mô hình lớn của bạn sẽ không thiên vị, nhưng nó sẽ có phương sai lớn và phương sai sẽ chi phối lỗi dự đoán (hoặc khác).

Do đó, tốt hơn là chấp nhận rằng các ước tính tham số sẽ bị sai lệch nhưng có phương sai thấp hơn (chính quy hóa), thay vì hy vọng rằng lựa chọn tập hợp con của chúng tôi chỉ loại bỏ các tham số 0 thực sự để chúng tôi có một mô hình không thiên vị với phương sai lớn hơn.

Vì bạn viết rằng bạn đánh giá cả hai cách tiếp cận bằng cách sử dụng xác nhận chéo, điều này giảm nhẹ một số lo ngại ở trên. Một vấn đề còn lại cho Tập hợp con tốt nhất vẫn là: nó ràng buộc một số tham số chính xác bằng 0 và cho phép các tham số khác trôi nổi tự do. Vì vậy, có một sự gián đoạn trong ước tính, sẽ không có nếu chúng ta điều chỉnh lasso vượt quá điểm λ 0 trong đó một yếu tố dự đoán p được bao gồm hoặc loại trừ. Giả sử rằng cross-validation kết quả đầu ra một "tối ưu" λ đó là gần với bước sóng 0 , vì vậy chúng tôi về cơ bản không chắc liệu p nên được bao gồm hoặc không. Trong trường hợp này, tôi cho rằng nó có ý nghĩa hơn để hạn chế các tham số ước lượng β$\lambda$$\lambda_0$$p$$\lambda$$\lambda_0$$\hat{\beta}_p$qua Lasso đến một giá trị nhỏ (tuyệt đối), chứ không phải là một trong hai hoàn toàn loại trừ , hoặc để cho nó trôi nổi tự do, β p = β OLS p , như xuất sắc nhất tập hợp con thực hiện.$\hat{\beta}_p=0$$\hat{\beta}_p=\hat{\beta}_p^{\text{OLS}}$

Điều này có thể hữu ích: Tại sao co rút hoạt động?

Về nguyên tắc, nếu có thể tìm thấy tập hợp con tốt nhất, thì nó thực sự tốt hơn LASSO, về mặt (1) chọn các biến thực sự đóng góp cho phù hợp, (2) không chọn các biến không đóng góp cho phù hợp, (3) độ chính xác dự đoán và (4) tạo ra các ước tính không thiên vị cho các biến được chọn. Một bài báo gần đây đã tranh luận về chất lượng vượt trội của tập hợp con tốt nhất so với LASSO là bởi Bertsimas et al (2016) "Lựa chọn tập hợp con tốt nhất thông qua một ống kính tối ưu hóa hiện đại" . Một ví dụ khác đưa ra một ví dụ cụ thể (về việc giải mã các đoàn tàu tăng tốc) trong đó tập hợp con tốt nhất tốt hơn LASSO hoặc sườn núi là của de Rooi & Eilers (2011).

$L_0$$L_1$$L_0$$L_q$Nguyên tắc hồi quy bị phạt với q gần bằng 0 về nguyên tắc sẽ gần với lựa chọn tập hợp con tốt nhất so với LASSO, nhưng đây không còn là vấn đề tối ưu hóa lồi, và do đó khá khó để phù hợp ).

Để giảm sự thiên vị của LASSO, người ta có thể sử dụng các phương pháp tiếp cận đa cấp có nguồn gốc, chẳng hạn như LASSO thích ứng (trong đó các hệ số bị phạt khác nhau dựa trên ước tính trước từ một bình phương nhỏ nhất hoặc phù hợp với hồi quy sườn) hoặc LASSO thoải mái (một giải pháp đơn giản được thực hiện bình phương nhỏ nhất phù hợp với các biến được chọn bởi LASSO). So với tập hợp con tốt nhất, LASSO có xu hướng chọn hơi quá nhiều biến. Lựa chọn tập hợp con tốt nhất là tốt hơn, nhưng khó hơn để phù hợp.

$L_0$cung cấp một so sánh rộng rãi về tập hợp con tốt nhất, LASSO và một số biến thể LASSO như LASSO thoải mái, và họ cho rằng LASSO thoải mái là thứ tạo ra độ chính xác dự đoán mô hình cao nhất trong phạm vi rộng nhất, nghĩa là họ đã đi đến một kết luận khác Bertsimas. Nhưng kết luận về điều tốt nhất phụ thuộc rất nhiều vào những gì bạn cho là tốt nhất (ví dụ: độ chính xác dự đoán cao nhất hoặc tốt nhất trong việc chọn ra các biến có liên quan và không bao gồm các biến không liên quan; hồi quy sườn, ví dụ, thường chọn quá nhiều biến nhưng độ chính xác dự đoán cho các trường hợp với biến cộng tuyến cao tuy nhiên có thể thực sự tốt).

Đối với một vấn đề rất nhỏ với 3 biến như bạn mô tả, rõ ràng lựa chọn tập hợp con tốt nhất là tùy chọn ưa thích mặc dù.