Lựa chọn hình phạt tối ưu cho Lasso

Có bất kỳ kết quả phân tích hoặc tài liệu thử nghiệm nào liên quan đến việc lựa chọn tối ưu hệ số của thời hạn hình phạt $\ell_1$ . Theo tối ưu , tôi có nghĩa là một tham số tối đa hóa xác suất chọn mô hình tốt nhất hoặc giảm thiểu tổn thất dự kiến. Tôi đang hỏi bởi vì thường thì không thực tế khi chọn tham số bằng cách xác thực chéo hoặc bootstrap, vì một số lượng lớn các vấn đề hoặc do kích thước của vấn đề trong tay. Các chỉ kết quả dương tính tôi biết là Nến và Kế hoạch, gần lý tưởng mô hình lựa chọn bởi $\ell_1$ giảm thiểu .

Định lý kiểm tra 5.1 của Bickel et al. . Một sự lựa chọn tối ưu về mặt thống kê về các lỗi là λ = Một σ tiếng ồn $\|y-\hat{y}(\lambda)\|_2^2$$\lambda = A \sigma_{\text{noise}} \sqrt{\dfrac{\log p}{n}}$$A > 2\sqrt{2}$ .

Tôi tin rằng bạn chủ yếu quan tâm đến hồi quy, như trong bài viết được trích dẫn, chứ không phải các ứng dụng khác của $\ell_1$-penalty (đồ họa lasso, nói).

Sau đó, tôi tin rằng một số câu trả lời có thể được tìm thấy trong bài báo Về mức độ tự do của thành phố Lasso của Zou et al. Tóm lại, nó đưa ra một công thức phân tích cho các mức độ tự do hiệu quả , đối với việc mất lỗi bình phương cho phép bạn thay thế CV bằng một phân tích$C_p$thống kê -type, nói.

Một nơi khác để tìm là trong bộ chọn Dantzig: Ước tính thống kê khi p lớn hơn n và các tài liệu thảo luận trong cùng một số Biên niên sử Thống kê. Hiểu biết của tôi là họ giải quyết một vấn đề liên quan chặt chẽ với hồi quy lasso nhưng với một sự lựa chọn cố định về hệ số hình phạt. Nhưng xin vui lòng xem các tài liệu thảo luận quá.

Nếu bạn không quan tâm đến dự đoán, nhưng trong việc lựa chọn mô hình, tôi không nhận thức được kết quả tương tự. Các mô hình tối ưu dự đoán thường dẫn đến quá nhiều biến được chọn trong các mô hình hồi quy. Trong bài viết Lựa chọn độ ổn định Meinshausen và Bühlmann trình bày một kỹ thuật lấy mẫu con hữu ích hơn cho lựa chọn mô hình, nhưng nó có thể đòi hỏi quá nhiều về mặt tính toán cho nhu cầu của bạn.

Vì câu hỏi này đã được hỏi, tiến bộ thú vị đã được thực hiện. Ví dụ, xem xét bài viết này

Chichignoud, M., Lederer, J., & Wainwright, M. (2016). Một sơ đồ thực tế và thuật toán nhanh để điều chỉnh Lasso với sự đảm bảo tối ưu. Tạp chí Nghiên cứu Máy học, 17, 1 Từ17.

Họ đề xuất một phương pháp để chọn tham số điều chỉnh LASSO với các đảm bảo mẫu hữu hạn có thể chứng minh được cho việc lựa chọn mô hình. Như họ nói trong bài báo, "Đối với các sơ đồ hiệu chuẩn tiêu chuẩn, trong số đó có Xác nhận chéo, không có đảm bảo nào có thể so sánh được trong tài liệu. Trên thực tế, chúng tôi không biết về bất kỳ đảm bảo mẫu hữu hạn nào cho các sơ đồ hiệu chuẩn tiêu chuẩn".

Điều này không trả lời câu hỏi của bạn, nhưng: trong một cài đặt dữ liệu lớn, có thể điều chỉnh bộ chỉnh tần bằng cách sử dụng một phân tách thử nghiệm / thử nghiệm duy nhất, thay vì thực hiện 10 lần hoặc hơn để xác thực chéo (hoặc nhiều hơn cho bootstrap). Kích thước và tính đại diện của mẫu được chọn cho độ lệch xác định độ chính xác của ước tính của bộ chuẩn hóa tối ưu.

Theo kinh nghiệm của tôi, tổn thất giữ tương đối bằng phẳng trong một phạm vi chính quy đáng kể. Tôi chắc chắn rằng thực tế này có thể không giữ cho các vấn đề khác.