Nếu p> n, Lasso chọn tối đa n biến

Một trong những động lực cho mạng lưới đàn hồi là giới hạn sau của LASSO:

Trong trường hợp , lasso chọn tối đa n biến trước khi nó bão hòa, vì bản chất của vấn đề tối ưu hóa lồi. Đây dường như là một tính năng giới hạn cho một phương pháp lựa chọn biến. Hơn nữa, Lasso không được xác định rõ trừ khi giới hạn trên chỉ tiêu L1 của các hệ số nhỏ hơn một giá trị nhất định.$p > n$

( http: // onlinel Library.wiley.com/doi/10.1111/j.1467-9868.2005.00503.x/full )

Tôi hiểu rằng LASSO là một vấn đề lập trình bậc hai nhưng cũng có thể được giải quyết thông qua LARS hoặc giảm độ dốc phần tử. Nhưng tôi không hiểu ở đâu trong các thuật toán này, tôi gặp phải một vấn đề nếu trong đó là số lượng dự đoán và là kích thước mẫu. Và tại sao vấn đề này được giải quyết bằng cách sử dụng mạng đàn hồi trong đó tôi tăng vấn đề lên các biến vượt quá .p n p + n $p > n$$p$$n$$p+n$$p$

Như đã nói, đây không phải là một thuộc tính của thuật toán mà là vấn đề tối ưu hóa. Các điều kiện KKT về cơ bản cho rằng hệ số khác không, nó phải tương ứng với một mối tương quan cố định với phần dư | X t j ( y - X β ) | = Λ ( λ là tham số quy tắc).$\beta_j$$|X_j^t(y-X\beta)| = \lambda$$\lambda$

Sau khi giải quyết các biến chứng khác nhau với giá trị tuyệt đối, v.v., bạn được để lại một phương trình tuyến tính cho mỗi hệ số khác không. Vì thứ hạng của ma trận nhiều nhất là n khi p > n , đây là số phương trình có thể giải được, và do đó có nhiều nhất là n số không (trừ khi có dự phòng).$X$$n$$p>n$

Nhân tiện, điều này đúng với bất kỳ chức năng mất nào, không chỉ Lasso tiêu chuẩn với mất. Vì vậy, nó trong thực tế là một tài sản của hình phạt Lasso. Có nhiều bài viết cho thấy quan điểm KKT này và kết luận thu được, tôi có thể chỉ ra bài báo của chúng tôi: Rosset và Zhu, Piecewise Tuyến đường giải pháp thường xuyên tuyến tính, Biên niên sử thống kê 2007 và giới thiệu ở đó.$L_2$

Một cách giải thích khác như sau: nếu , thứ hạng của ma trận dữ liệu X nhiều nhất là n , do đó kích thước của không gian null (phải) của nó ít nhất là p - n . Viết bất kỳ vectơ trong không gian null này là z . Sau đó, tại bất kỳ điểm nào khả thi β , người ta có thể di chuyển trong này p - n không gian rỗng chiều về phía trục tọa độ của p không gian xung quanh chiều, để đi đến một β + z , nơi (ít nhất) n β j s là khác không và hàm mục tiêu LASSO$n < p$$X$$n$$p - n$$z$$\beta$$p - n$$p$$\beta+z$$n$ $\beta_j$

đã giảm.