Hồi quy tuyến tính thưa thớt 0-Norm và 1-Norm

Chúng tôi có phản hồi và dự đoán$Y \in \Bbb R^n$$X = (x_1, x_2, \cdots, x_m)^T \in \Bbb R^{n \times m}$

Vấn đề chúng tôi muốn giải quyết là

$$\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y - Xk \Vert_2^2 + \lambda \Vert k \Vert_0) \rightarrow k_0$$

Tuy nhiên, đó là NP-hard, vì vậy, thay vào đó, chúng tôi giải quyết

$$\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y - Xk \Vert_2^2 + \lambda \Vert k \Vert_1) \rightarrow k_1$$

Trong bài báo này "Học mô tả vật lý cho khoa học vật liệu bằng cảm biến nén" , người ta nói rằng

với các tính năng tương quan cao, $\lambda \Vert k \Vert_1$ có thể không phải là một xấp xỉ tốt cho $\lambda \Vert k \Vert_0$

Những câu hỏi của tôi:

Cả $\lambda \Vert k \Vert_0$ và $\lambda \Vert k \Vert_1$ đặt một ràng buộc về số lượng thành phần khác không của vectơ $k$ . Nhưng khi các tính năng tương quan, lợi thế của $k$ được tìm thấy bởi $\lambda \Vert k \Vert_0$ gì?

Hơn nữa, có một ví dụ trực quan chứng minh điểm mà tôi đã trích dẫn ở trên?

1. Nếu các tính năng tương quan, bạn nên sử dụng lưới đàn hồi và không lasso.
2. Một cách đơn giản, nếu hai tính năng tương quan với nhau, lasso sẽ chọn tính năng trên nếu nó có phần thưởng tốt hơn cho hàm mất, điều này có nghĩa là giá trị tuyệt đối nhỏ hơncủa hệ số hồi quy cùng với việc giảm tốt lỗi dự đoán .$i$$j$$|\beta_i|$$||y-X\beta||_2$
3. Mặt khác, các phạt -norm dựa sẽ chọn tính năng qua nếu nó dẫn đến sự sụt giảm tốt trong các lỗi dự đoán chỉ , vì kích thước của hệ số không quan trọng, chỉ cần nếu nó khác nhau từ zero (nhớ , ).$l_0$$i$$j$$||\beta||_0=\#\lbrace\beta_k\neq0\rbrace$
4. Bây giờ, trực giác của tôi sẽ là - và phạt -norm là đều xấu tại dự đoán của các hệ số hồi quy đúng nếu tính năng có tương quan. Bằng chứng của Định lý 2 trong bài viết này sẽ minh họa tại sao đây thực sự là trường hợp. Điều này sẽ mâu thuẫn với tuyên bố và ví dụ về bài báo mà bạn đã trích dẫn, mặc dù.$l_1$$l_0$