Có một tập hợp rõ ràng các điều kiện theo đó các đường dẫn giải pháp lưới lasso, sườn núi hoặc lưới đàn hồi là đơn điệu không?

Câu hỏi Điều gì để kết luận từ cốt truyện Lasso này (glmnet) cho thấy các đường dẫn giải pháp cho công cụ ước tính Lasso không đơn điệu. Đó là, một số quan tài phát triển về giá trị tuyệt đối trước khi chúng co lại.

Tôi đã áp dụng các mô hình này cho một số loại tập dữ liệu khác nhau và chưa bao giờ thấy hành vi này "trong tự nhiên" và cho đến ngày hôm nay đã cho rằng chúng luôn đơn điệu.

Có một tập hợp rõ ràng các điều kiện theo đó các đường dẫn giải pháp được đảm bảo là đơn điệu không? Có ảnh hưởng đến việc giải thích kết quả nếu các đường dẫn thay đổi hướng?

lasso ridge-regression elastic-net

— bóng tối
nguồn

Đơn điệu theo nghĩa nào? Nó có vẻ không có ý nghĩa lắm đối với tôi nếu bạn muốn coi nó như một biểu đồ của một số chức năng.

— Henry.L

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

lưu ý: hiểu cách thức mà Lasso thu nhỏ các hệ số là chủ đề của cả câu hỏi và số liệu thống kê này.stackexchange.com / questions / 239999 / Lỗi

— user795305

Tôi không biết làm thế nào tôi đã bỏ lỡ điều này trước đây, câu hỏi được trả lời cho lasso về câu trả lời của OP cho câu hỏi của chính anh ấy trong câu hỏi trên.

— user795305

Tôi có thể cung cấp cho bạn một đủ điều kiện để con đường trở thành đơn điệu: một thiết kế trực giao của . $X$

Giả sử một ma trận thiết kế trực giao, nghĩa là với các biến trong , chúng ta có . Với thiết kế trực giao, các hệ số hồi quy OLS chỉ đơn giản là . $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

Các điều kiện Karush-Khun-Tucker cho LASSO do đó đơn giản hóa thành:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

Trong đó là gradient phụ. Do đó, với mỗi chúng ta có và chúng tôi có một giải pháp dạng đóng cho các ước tính của Lasso: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

Đó là đơn điệu trong . Trong khi điều này không phải là một điều kiện cần thiết, chúng ta thấy rằng không đơn điệu phải đến từ các mối tương quan của các biến số trong . $\lambda$ $X$

— Carlos Cinelli
nguồn