Tôi thường xuyên hồi quy tuyến tính của tôi, bây giờ những gì?

Tôi đã ước tính các tham số hồi quy của mô hình hồi quy tuyến tính bằng LASSO, đã gửi một số biến về 0 bằng xác nhận chéo và bây giờ tôi đã có một mô hình cuối cùng. Người ta biết rằng việc thường xuyên gây ra sự thiên vị cho các biến hoạt động, nhưng đó là một cái giá tốt để trả cho việc loại bỏ các biến giả. Bây giờ tôi phải làm gì khi tôi có mô hình cuối cùng chỉ với 1/5 biến ban đầu? Tôi có nên xử lý sai lệch đối với các biến còn lại như một nhà vô địch hay có một cách thông minh để tiến hành?

Một cách tiếp cận phổ biến là bây giờ làm lại hồi quy (không cần chính quy) chỉ sử dụng các biến được LASSO chọn.

Điều này được gọi là "suy luận sau lựa chọn." Xem Lee và cộng sự. 2016 để tìm giá trị p và khoảng tin cậy trên các ước tính kết quả.

Bạn có thể tự hỏi, mục tiêu của việc xây dựng mô hình này là gì. Bạn đang cố gắng để có được một hiệu suất dự đoán tốt hơn? Hoặc bạn muốn một mô hình tuyến tính có ý nghĩa thống kê. Hai mục tiêu này không nhất thiết phải liên kết.

Từ quan điểm học máy, bạn luôn muốn biết bạn đang thừa hoặc thiếu. Nếu bạn đã phù hợp, chính quy sẽ làm cho nó tồi tệ hơn.