Hình phạt Lasso chỉ áp dụng cho tập hợp con của hồi quy

Câu hỏi này đã được hỏi trước đây nhưng không có câu trả lời, vì vậy tôi nghĩ rằng tôi có thể hỏi lại.

Tôi quan tâm đến việc áp dụng hình phạt Lasso cho một số tập hợp con của các biến hồi quy, tức là với hàm mục tiêu

$E = ||\mathbf{y} - \mathbf{X}_1 \boldsymbol{\beta}_1 - \mathbf{X}_2 \boldsymbol{\beta}_2||^2 + \lambda ||\boldsymbol{\beta}_1||_1$

trong đó Lasso chỉ được áp dụng cho $\boldsymbol{\beta}_1$ nhưng $\boldsymbol{\beta}_2$ có liên quan đến việc xây dựng lại.

Có bất kỳ lý thuyết đằng sau này? Thứ hai, có cách nào để làm điều này trong sklearn không?

scikit-learn lasso

— người dùng180303
nguồn

Câu trả lời:

Đặt là máy chiếu trực giao vào không gian cột của . Chúng tôi có trong đó $H_2$ $X_2$

\begin{aligned} min_{β_{1}, β_{2}} {‖ y - X_{1} β_{1} - X_{2} β_{2} ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ = & min_{β_{1}, β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2} + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ = & min_{β_{1} | β_{2}} min_{β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2} + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}}, \end{aligned}

$\begin{align*} & \min_{\beta_1, \beta_2} \left\{ \|y - X_1\beta_1 - X_2\beta_2\|_2^2 + \lambda \|\beta_1\|_1 \right\} \\ = & \, \min_{\beta_1, \beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\} \\ = & \, \min_{\beta_1 | \beta_2} \min_{\beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\}, \end{align*}$

\begin{aligned} {\hat{β}}_{2} & = \arg min_{β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2} + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ = \arg min_{β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2}} \end{aligned}

$\begin{align*} \hat\beta_2 & = \arg\min_{\beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\} \\ & = \arg\min_{\beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 \right\} \end{align*}$ thỏa mãn cho tất cả kể từ cho tất cả . Xem xét trong câu này, trường hợp là thứ hạng đầy đủ, chúng tôi có thêm vì trong trường hợp này.

X_{2} {\hat{β}}_{2} = H_{2} (y - X_{1} β_{1})

$X_2 \hat\beta_2 = H_2 (y - X_1 \beta_1)$

β_{1}

$\beta_1$

H_{2} (y - X_{1} β_{1}) \in c o l (X_{2})

$H_2 (y - X_1 \beta_1) \in \mathrm{col}(X_2)$

β_{1}

$\beta_1$

X_{2}

$X_2$

{\hat{β}}_{2} = (X_{2}^{T} X_{2})^{- 1} X_{2}^{T} (y - X_{1} β_{1}),

$\hat\beta_2 = (X_2^T X_2)^{-1} X_2^T (y - X_1 \beta_1),$

H_{2} = X_{2} (X_{2}^{T} X_{2})^{- 1} X_{2}

$H_2 = X_2 (X_2^T X_2)^{-1} X_2$

Cắm vấn đề tối ưu hóa đầu tiên này, chúng tôi thấy rằng có thể được đánh giá thông qua các công cụ tính toán Lasso thông thường. Như whuber gợi ý trong nhận xét của mình, kết quả này là trực quan do các hệ số không giới hạn có thể bao trùm khoảng , do đó chỉ một phần của không gian trực giao với khoảng là đáng quan tâm khi đánh giá .

\begin{aligned} {\hat{β}}_{1} & = \arg min_{β_{1}} {0 + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ (*) & = \arg min_{β_{1}} {‖ (I - H_{2}) y - (I - H_{2}) X_{1} β_{1} ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}}, \end{aligned}

$\begin{align*} \hat\beta_1 & = \arg\min_{\beta_1} \left\{ 0 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\} \\ & =\arg\min_{\beta_1} \left\{ \|\left(I-H_2\right)y - \left(I-H_2\right)X_1\beta_1 \|_2^2 + \lambda \|\beta_1 \|_1 \right\}, \tag{*} \end{align*}$

β_{2}

$\beta_2$

X_{2}

$X_2$

X_{2}

$X_2$

{\hat{β}}_{1}

$\hat\beta_1$

Mặc dù ký hiệu là hơi chung chung hơn, nhưng gần như bất cứ ai đã từng sử dụng Lasso đều quen thuộc với kết quả này. Để thấy điều này, giả sử là các vectơ (độ dài ) của các vectơ, đại diện cho phần chặn. Sau đó, ma trận chiếu và, đối với bất kỳ vectơ , phép chiếu trực giao chỉ cần loại bỏ vectơ. Xem xét phương trình , đây chính xác là những gì mọi người làm khi họ tính toán các hệ số Lasso! Họ hạ thấp dữ liệu để việc chặn không cần phải xem xét. $X_2 = \mathbf{1}$ $n$ $H_2 = \mathbf{1} \left( \mathbf{1}^T \mathbf{1} \right)^{-1} \mathbf{1}^T = \frac{1}{n} \mathbf{1} \mathbf{1}^T$ $v$ $\left( I - H_2 \right) v = v - \bar{v} \mathbf{1}$ $(*)$

— người dùng795305
nguồn

Đừng biết rằng bạn cần nhiều "lý thuyết" đằng sau cách tiếp cận như vậy. Phương pháp hồi quy hình phạt (LASSO, sườn núi hoặc hồi quy mạng đàn hồi lai của chúng) là các công cụ để thực hiện sự đánh đổi sai lệch để cải thiện tính tổng quát và hiệu suất của mô hình. Bạn chắc chắn có thể chọn giữ một số biến không được mở rộng, như bạn đề xuất cho , trong khi các biến khác bị phạt. Ví dụ, bài viết này đã kiểm tra tính hiệu quả của vắc-xin bằng cách giữ cho tình trạng tiêm chủng không bị ảnh hưởng trong khi kết hợp các hiệp phương sai khác với hình phạt L2 hồi quy. Cách tiếp cận này đã tránh quá mức cho các đồng biến trong khi cho phép đánh giá trực tiếp các yếu tố dự đoán chính của mối quan tâm. $\beta_2$

Các câu hỏi về việc triển khai trong các môi trường lập trình cụ thể không có chủ đề trên trang web này. Một cách chung để tiếp cận vấn đề này, như trong glmnetgói trong R, là bao gồm một yếu tố hình phạt dành riêng cho người dự đoán, nhân lên sự lựa chọn chung của trước khi đánh giá hàm mục tiêu. Người dự đoán có các yếu tố hình phạt mặc định là 1, nhưng một người dự đoán có hệ số hình phạt cụ thể là 0 sẽ không bị phạt và một người có yếu tố hình phạt vô hạn sẽ luôn bị loại trừ. Giá trị trung gian của các yếu tố hình phạt khác nhau giữa các yếu tố dự đoán có thể cung cấp bất kỳ hình phạt khác biệt mong muốn giữa các yếu tố dự đoán. Tôi nghi ngờ rằng phương pháp này có thể được kết hợp bằng cách nào đó vào các công cụ được cung cấp bởi . $\lambda$ sklearn

— EdM
nguồn

+1 Vì thông thường không được chỉ định, nhưng được tìm thấy thông qua một số phương tiện khác, có vẻ như người ta có thể loại bỏ hiệu ứng của trên (bằng cách hồi quy so với ), phù hợp với với là phản hồi và được điều chỉnh như các biến hồi quy và sau đó thực hiện Lasso trên phần dư chỉ sử dụng làm biến hồi quy. Không gian của các giải pháp cho sẽ giống nhau, nhưng tham số có thể được nhân với hằng số (không quan trọng). Cách giải quyết cho hồi quy Ridge thậm chí còn đơn giản hơn .

λ

$\lambda$

X_{1}

$X_1$

X_{2}

$X_2$

X_{2}

$X_2$

X_{1}

$X_1$

β_{2}

$\beta_2$

Y

$Y$

X_{2}

$X_2$

X_{1}

$X_1$

β_{1}

$\beta_1$

λ

$\lambda$

— whuber