Suy luận sau khi sử dụng Lasso để lựa chọn biến

Tôi đang sử dụng Lasso để lựa chọn tính năng trong cài đặt chiều tương đối thấp (n >> p). Sau khi lắp mô hình Lasso, tôi muốn sử dụng các hiệp phương sai với các hệ số khác 0 để phù hợp với mô hình không bị phạt. Tôi đang làm điều này bởi vì tôi muốn những ước tính không thiên vị mà Lasso không thể đưa ra cho tôi. Tôi cũng thích giá trị p và khoảng tin cậy cho ước tính không thiên vị.

Tôi gặp khó khăn khi tìm tài liệu về chủ đề này. Hầu hết các tài liệu tôi tìm thấy là về việc đặt khoảng tin cậy vào các ước tính của Lasso, chứ không phải là một mô hình được trang bị lại.

Từ những gì tôi đã đọc, chỉ cần chỉnh lại một mô hình bằng cách sử dụng toàn bộ tập dữ liệu sẽ dẫn đến các lỗi p-value / std nhỏ không hợp lý. Ngay bây giờ, tách mẫu (theo phong cách của Wasserman và Roeder (2014) hoặc Meinshausen và cộng sự (2009)) dường như là một cách hành động tốt, nhưng tôi đang tìm kiếm thêm gợi ý.

Có ai gặp phải vấn đề này? Nếu vậy, bạn có thể vui lòng cung cấp một số gợi ý.

Để thêm vào các phản ứng trước đó. Bạn chắc chắn nên kiểm tra công việc gần đây của Tibshirani và các đồng nghiệp. Họ đã phát triển một khuôn khổ nghiêm ngặt để suy ra các giá trị p và khoảng tin cậy được hiệu chỉnh cho các phương pháp kiểu Lasso và cũng cung cấp gói R.

Xem:

Lee, Jason D., et al. "Suy luận sau lựa chọn chính xác, với ứng dụng cho Lasso." Biên niên sử Thống kê 44.3 (2016): 907-927. ( https://projecteuclid.org/euclid.aos/1460381681 )

Taylor, Jonathan và Robert J. Tibshirani. "Học thống kê và suy luận có chọn lọc." Kỷ yếu của Viện Hàn lâm Khoa học Quốc gia 112,25 (2015): 7629-7634.

Gói R:

https://cran.r-project.org/web/packages/selectiveInference/index.html

Nói chung, việc tinh chỉnh không sử dụng hình phạt nào sau khi thực hiện lựa chọn biến qua Lasso được coi là "gian lận" vì bạn đã xem dữ liệu và kết quả giá trị p và khoảng tin cậy không có giá trị theo nghĩa thông thường.

$p$

tập hợp các biến được chọn bởi lasso là xác định và không phụ thuộc dữ liệu với xác suất cao.

Do đó, nhìn trộm dữ liệu hai lần không phải là vấn đề. Bạn sẽ cần phải xem liệu đối với vấn đề của bạn, các điều kiện được nêu trong giấy giữ hay không.

(Có rất nhiều tài liệu tham khảo hữu ích trong bài báo)

Tài liệu tham khảo:

Zhao, S., Shojaie, A., & Witten, D. (2017). Để bảo vệ những thứ không thể bảo vệ: Một cách tiếp cận rất ngây thơ đối với suy luận chiều cao. Lấy từ: https://arxiv.org/pdf/1705.05543.pdf

Tôi muốn thêm một số bài báo từ tài liệu học máy trực giao / kép đang trở nên phổ biến trong tài liệu Kinh tế lượng ứng dụng.

• Belloni, Alexandre, Victor Chernozhukov và Christian Hansen. "Suy luận về hiệu quả điều trị sau khi lựa chọn trong số các biện pháp kiểm soát chiều cao." Đánh giá của nghiên cứu kinh tế 81.2 (2014): 608-650.

  Bài viết này đề cập đến các thuộc tính lý thuyết của ước tính OLS về tác động của biến sau khi chọn các điều khiển "khác" bằng LASSO.

• Victor Chernozhukov, Denis Chetverikov, Mert Demirer, Esther Duflo, Christian Hansen, Whitney Newey, James Robins, Double / debiased machine learning để điều trị và các thông số cấu trúc, Tạp chí Kinh tế lượng, Tập 21, Số 1, ngày 1 tháng 2 năm 2018, Trang C1 , https://doi.org/10.1111/ectj.12097

  Điều này phát triển lý thuyết toàn diện cho việc sử dụng một số phương pháp phi tham số (thuật toán ML) để kiểm soát phi tuyến tính cho một tham số phiền toái chiều cao (các yếu tố gây nhiễu) và sau đó nghiên cứu tác động của một hiệp phương cụ thể đến kết quả. Họ đối phó với các khung tuyến tính một phần và các khung tham số hoàn toàn. Họ cũng xem xét các tình huống mà các biến quan tâm bị nhầm lẫn.