Giải thích các ô theo dõi biến LASSO


15

Tôi chưa quen với glmnetgói này và tôi vẫn không chắc chắn về cách diễn giải kết quả. Bất cứ ai có thể xin vui lòng giúp tôi đọc các dấu vết sau đây?

Biểu đồ thu được bằng cách chạy như sau:

library(glmnet)
return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ])
data   <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), 
                 ncol=num.factors)
model  <- cv.glmnet(data, return, standardize=TRUE)

op <- par(mfrow=c(1, 2))
plot(model$glmnet.fit, "norm",   label=TRUE)
plot(model$glmnet.fit, "lambda", label=TRUE)
par(op)

nhập mô tả hình ảnh ở đây

Câu trả lời:


20

Trong cả hai ô, mỗi dòng màu đại diện cho giá trị được lấy bởi một hệ số khác nhau trong mô hình của bạn. Lambda là trọng số được đưa ra cho thuật ngữ chính quy (định mức L1), do đó lambda tiến tới 0, hàm mất của mô hình của bạn tiếp cận hàm mất OLS. Đây là một cách bạn có thể chỉ định hàm mất LASSO để tạo ra cụ thể này:

βtôimộtSSo= =argmin [RSS(β)+λ*L1-Norm(β)]

Do đó, khi lambda rất nhỏ, giải pháp LASSO phải rất gần với giải pháp OLS và tất cả các hệ số của bạn đều nằm trong mô hình. Khi lambda phát triển, thuật ngữ chính quy có tác dụng lớn hơn và bạn sẽ thấy ít biến hơn trong mô hình của mình (vì càng nhiều hệ số sẽ không có giá trị).

Như tôi đã đề cập ở trên, định mức L1 là thuật ngữ chính quy cho LASSO. Có lẽ cách tốt hơn để xem xét đó là trục x là giá trị tối đa cho phép mà định mức L1 có thể lấy . Vì vậy, khi bạn có một chỉ tiêu L1 nhỏ, bạn có rất nhiều chính quy. Do đó, một chỉ tiêu L1 bằng 0 đưa ra một mô hình trống và khi bạn tăng định mức L1, các biến sẽ "nhập" mô hình khi các hệ số của chúng lấy các giá trị khác không.

Cốt truyện bên trái và cốt truyện bên phải về cơ bản cho bạn thấy điều tương tự, chỉ ở các quy mô khác nhau.


2
Câu trả lời rất gọn gàng, cảm ơn! Có thể suy ra "dự đoán tốt nhất" từ các biểu đồ trên, tức là một mô hình cuối cùng không?
Mayou

4
Không, bạn sẽ cần xác thực chéo hoặc một số quy trình xác nhận khác cho điều đó; nó sẽ cho bạn biết giá trị nào của định mức L1 (hoặc tương đương, log nào (lambda)) mang lại mô hình với khả năng dự đoán tốt nhất.
JAW

11
Nếu bạn đang cố gắng xác định các yếu tố dự đoán mạnh nhất của mình, bạn có thể hiểu cốt truyện là bằng chứng cho thấy các biến vào mô hình sớm là biến dự đoán nhất và các biến nhập vào mô hình sau này ít quan trọng hơn. Nếu bạn muốn "mô hình tốt nhất", nói chung, điều này được tìm thấy thông qua xác nhận chéo. Một phương pháp phổ biến để đạt được điều này bằng cách sử dụng gói glmnet đã được đề xuất cho bạn ở đây: stats.stackexchange.com/a/68350/8451 . Tôi mạnh mẽ khuyên bạn nên đọc chương ngắn Lasso trong ESLII (3.4.2 và 3.4.3), đó là miễn phí để tải về: www-stat.stanford.edu/~tibs/ElemStatLearn
David Marx

@David Marx, những con số ở đầu cốt truyện đề cập đến điều gì? Làm thế nào để chọn mô hình tốt nhất thông qua xác nhận chéo.
jeza

@DavidMarx đã được một thời gian nhưng đối với bất kỳ ai khác thắc mắc điều này, đó là số hệ số ở trọng số đó không có giá trị bằng không.
Ian Belcher
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.