Hệ số biến tăng, sau đó giảm khi lambda giảm (LASSO)

Tôi đang hồi quy một công cụ dự đoán liên tục trên 60 biến (cả liên tục và phân loại) bằng LASSO (glmnet).

Khi kiểm tra biểu đồ theo dõi biến, tôi nhận thấy rằng khi log lambda tăng, một trong những biến chính có hệ số thực sự tăng. Sau đó, sau một thời điểm nhất định, nó bắt đầu giảm như chúng ta mong đợi.

Để chắc chắn rằng đây không phải là một sự may mắn, tôi đã chạy 10 mô hình bằng cách sử dụng bootstraps và thu được kết quả rất giống nhau.

Điều này là có thể, hoặc có một vấn đề với dữ liệu? Nếu hợp pháp, xu hướng này trong hệ số của biến cho chúng ta biết gì về biến và mối quan hệ với phản ứng?

lasso regularization glmnet

— matsuo_basho
nguồn

Nó không chỉ có thể, nó là một sự xuất hiện rất phổ biến.

$\ \lambda\,||\beta||_1$ $\lambda$

$\sum_i |\beta_i|$ $\log\lambda$

Bạn sẽ thường thấy loại hành vi này khi có một số mối tương quan giữa các yếu tố dự đoán - có thể có một loại hiệu ứng thay thế.

$|\beta_4|+|\beta_{11}|$

— Glen_b -Reinstate Monica
nguồn

Động lực này nói gì về tác động của biến đối với phản ứng so với nếu nó chỉ giảm khi tăng lambda?

— matsuo_basho

β_{4} - β_{11}

$\beta_4-\beta_{11}$

β_{4}

$\beta_4$

λ

$\lambda$

x_{4}

$x_4$

+1, nhưng liệu có thể lấy một ví dụ mang tính xây dựng cho thấy cách thức và lý do tại sao những điều đó xảy ra?

— Richard Hardy

Hãy để tôi cung cấp một số nền tảng về lý do tại sao tôi đặt câu hỏi. Tôi muốn xác định các biến quan trọng nhất trong mô hình. Từ các mô hình tôi chạy, chúng ta thấy các biến 4 và biến 11 hoặc 24 luôn nằm trong mô hình khi lambda cao. Vì vậy, chúng ta có thể nói rằng chúng quan trọng. Mặc dù biến số 4 thường có hệ số dương, cách nó thay đổi hơi khó hiểu. Động lực này có cho chúng ta biết bất cứ điều gì về việc diễn giải ảnh hưởng của các biến đến phản hồi không?

— matsuo_basho