Chỉ sử dụng LASSO để lựa chọn tính năng

Trong lớp học máy của tôi, chúng tôi đã tìm hiểu về cách hồi quy LASSO rất tốt trong việc thực hiện lựa chọn tính năng, vì nó sử dụng chính quy .$l_1$

Câu hỏi của tôi: mọi người thường sử dụng mô hình LASSO chỉ để thực hiện lựa chọn tính năng (và sau đó tiến hành chuyển các tính năng đó sang một mô hình học máy khác) hay họ thường sử dụng LASSO để thực hiện cả lựa chọn tính năng và hồi quy thực tế?

Ví dụ: giả sử bạn muốn thực hiện hồi quy sườn, nhưng bạn tin rằng nhiều tính năng của bạn không được tốt lắm. Sẽ là khôn ngoan khi chạy LASSO, chỉ sử dụng các tính năng gần như không bị thuật toán hóa và sau đó chỉ sử dụng các tính năng trong việc đưa dữ liệu của bạn vào mô hình hồi quy sườn? Bằng cách này, bạn có được lợi ích của thường xuyên hóa để thực hiện lựa chọn tính năng, nhưng cũng là lợi ích của thường xuyên hóa để giảm quá mức. (Tôi biết rằng về cơ bản, điều này tương đương với Hồi quy mạng đàn hồi, nhưng có vẻ như bạn không cần phải có cả$l_1$$l_2$thuật ngữ l 1 và l 2 trong hàm mục tiêu hồi quy cuối cùng.)$l_1$$l_2$

Ngoài hồi quy, đây có phải là một chiến lược khôn ngoan khi thực hiện các nhiệm vụ phân loại (sử dụng SVM, mạng lưới thần kinh, rừng ngẫu nhiên, v.v.) không?

Hầu như bất kỳ cách tiếp cận nào thực hiện một số hình thức lựa chọn mô hình và sau đó phân tích sâu hơn như thể không có lựa chọn mô hình nào trước đây xảy ra thường có tỷ lệ kém. Trừ khi có những lập luận lý thuyết thuyết phục được hỗ trợ bởi bằng chứng từ các nghiên cứu mô phỏng mở rộng cho kích thước mẫu thực tế và tính năng so với tỷ lệ kích thước mẫu cho thấy đây là một ngoại lệ, có khả năng cách tiếp cận như vậy sẽ có các đặc tính không đạt yêu cầu. Tôi không biết về bất kỳ bằng chứng tích cực nào cho cách tiếp cận này, nhưng có lẽ ai đó khác. Cho rằng có những lựa chọn thay thế hợp lý đạt được tất cả các mục tiêu mong muốn (ví dụ: lưới đàn hồi), phương pháp này khó có thể biện minh cho việc sử dụng phương pháp tiếp cận đột xuất như vậy.

Bên cạnh tất cả các câu trả lời ở trên: Có thể tính toán một phép thử hoán vị chi2 chính xác cho các bảng 2x2 và rxc. Thay vì so sánh giá trị quan sát của chúng tôi về thống kê chi bình phương với phân phối chi bình phương tiệm cận, chúng ta cần so sánh nó với phân phối hoán vị chính xác. Chúng ta cần hoán vị dữ liệu của mình theo tất cả các cách có thể để giữ cho lề của hàng và cột không đổi. Đối với mỗi tập dữ liệu được hoán vị, chúng tôi đã nhân số liệu thống kê chi2. Sau đó, chúng tôi so sánh chi2 được quan sát của chúng tôi với số liệu thống kê chi2 (được sắp xếp) Xếp hạng của thống kê kiểm tra thực trong số các thống kê kiểm tra chi2 được cho phép có giá trị p.