Làm thế nào để giải thích glmnet?

Tôi đang cố gắng phù hợp với mô hình hồi quy tuyến tính đa biến với khoảng 60 biến dự đoán và 30 quan sát, vì vậy tôi đang sử dụng gói glmnet để hồi quy chính quy vì p> n.

Tôi đã xem qua tài liệu và các câu hỏi khác nhưng tôi vẫn không thể giải thích kết quả, đây là mã mẫu (với 20 dự đoán và 10 quan sát để đơn giản hóa):

Tôi tạo một ma trận x với các hàng num = num quan sát và num cols = num dự đoán và một vectơ y đại diện cho biến trả lời

> x=matrix(rnorm(10*20),10,20)
> y=rnorm(10)

Tôi phù hợp với mô hình glmnet để mặc định alpha (= 1 cho hình phạt lasso)

> fit1=glmnet(x,y)
> print(fit1)

Tôi hiểu rằng tôi nhận được các dự đoán khác nhau với việc giảm giá trị của lambda (tức là hình phạt)

Call:  glmnet(x = x, y = y) 

        Df    %Dev   Lambda
  [1,]  0 0.00000 0.890700
  [2,]  1 0.06159 0.850200
  [3,]  1 0.11770 0.811500
  [4,]  1 0.16880 0.774600
   .
   .
   .
  [96,] 10 0.99740 0.010730
  [97,] 10 0.99760 0.010240
  [98,] 10 0.99780 0.009775
  [99,] 10 0.99800 0.009331
 [100,] 10 0.99820 0.008907

Bây giờ tôi dự đoán các giá trị Beta của mình, ví dụ: giá trị lambda nhỏ nhất được đưa ra từ glmnet

> predict(fit1,type="coef", s = 0.008907)

21 x 1 sparse Matrix of class "dgCMatrix"
                  1
(Intercept) -0.08872364
V1           0.23734885
V2          -0.35472137
V3          -0.08088463
V4           .         
V5           .         
V6           .         
V7           0.31127123
V8           .         
V9           .         
V10          .         
V11          0.10636867
V12          .         
V13         -0.20328200
V14         -0.77717745
V15          .         
V16         -0.25924281
V17          .         
V18          .         
V19         -0.57989929
V20         -0.22522859

Nếu thay vào đó tôi chọn lambda với

cv <- cv.glmnet(x,y)
model=glmnet(x,y,lambda=cv$lambda.min)

Tất cả các biến sẽ là (.).

Nghi ngờ và câu hỏi:

1. Tôi không chắc chắn về cách chọn lambda.
2. Tôi có nên sử dụng các biến không (.) Để phù hợp với mô hình khác không? Trong trường hợp của tôi, tôi muốn giữ càng nhiều biến càng tốt.
3. Làm thế nào để tôi biết giá trị p, tức là biến nào dự đoán đáng kể phản ứng?

Tôi xin lỗi vì kiến ​​thức thống kê kém của tôi! Và cảm ơn bạn đã giúp đỡ.

Đây là một thực tế không trực quan - bạn thực sự không cần phải cung cấp cho glmnet một giá trị duy nhất của lambda. Từ tài liệu ở đây :

Không cung cấp một giá trị duy nhất cho lambda (để dự đoán sau khi sử dụng CV dự đoán () thay thế). Cung cấp thay vì một chuỗi giảm giá trị lambda. glmnet dựa vào sự ấm lên của nó bắt đầu cho tốc độ và nó thường nhanh hơn toàn bộ đường dẫn hơn là tính toán một lần duy nhất.

cv.glmnetsẽ giúp bạn chọn lambda, như bạn đã nói trong ví dụ của mình. Các tác giả của gói glmnet đề nghị cv$lambda.1sethay vì cv$lambda.min, nhưng trong thực tế tôi đã thành công với phần sau.

Sau khi chạy cv.glmnet, bạn không phải chạy lại glmnet! Mỗi lambda trong lưới ( cv$lambda) đã được chạy. Kỹ thuật này được gọi là "Khởi đầu ấm áp" và bạn có thể đọc thêm về nó ở đây . Diễn giải từ phần giới thiệu, kỹ thuật Khởi động ấm giúp giảm thời gian chạy các phương pháp lặp bằng cách sử dụng giải pháp cho một vấn đề tối ưu hóa khác (ví dụ: glmnet với lambda lớn hơn) làm giá trị khởi đầu cho vấn đề tối ưu hóa sau này (ví dụ: glmnet với lambda nhỏ hơn ).

Để giải nén chạy mong muốn cv.glmnet.fit, hãy thử điều này:

small.lambda.index <- which(cv$lambda == cv$lambda.min)
small.lambda.betas <- cv$glmnet.fit$beta[, small.lambda.index]

Sửa đổi (1/28/2017)

Không cần phải hack vào đối tượng glmnet như tôi đã làm ở trên; lấy lời khuyên của @ alex23lemm bên dưới và chuyển s = "lambda.min", s = "lambda.1se"hoặc một số số khác (ví dụ s = .007:) cho cả hai coefvà predict. Lưu ý rằng các hệ số và dự đoán của bạn phụ thuộc vào giá trị này được đặt bằng xác thực chéo. Sử dụng hạt giống để tái sản xuất! Và đừng quên rằng nếu bạn không cung cấp một "s"trong coefvà predict, bạn sẽ được sử dụng mặc định của s = "lambda.1se". Tôi đã làm nóng đến mặc định đó sau khi thấy nó hoạt động tốt hơn trong một tình huống dữ liệu nhỏ.s = "lambda.1se"cũng có xu hướng cung cấp chính quy hơn, vì vậy nếu bạn đang làm việc với alpha> 0, thì nó cũng sẽ có xu hướng hướng tới một mô hình khác biệt hơn. Bạn cũng có thể chọn một giá trị số của s với sự trợ giúp của plot.glmnet để đến một nơi nào đó ở giữa (chỉ cần đừng quên lũy thừa các giá trị từ trục x!).

Q1) Tôi không chắc chắn về cách chọn lambda. Câu 2) Tôi có nên sử dụng các biến không (.) Để phù hợp với mô hình khác không? Trong trường hợp của tôi, tôi muốn giữ càng nhiều biến càng tốt.

Theo câu trả lời tuyệt vời của @ BenOgorek, thông thường bạn cho phép sử dụng toàn bộ chuỗi lambda, sau đó khi trích xuất các hệ số tối ưu, hãy sử dụng giá trị lambda.1se (không giống như những gì bạn đã làm).

Miễn là bạn tuân theo ba cảnh báo dưới đây, thì đừng chống lại việc chính quy hóa hoặc điều chỉnh mô hình: nếu một biến bị bỏ qua, thì đó là vì nó đưa ra mức phạt chung thấp hơn. Hãy cẩn thận là:

1. Để các hệ số được chuẩn hóa có ý nghĩa, hãy đảm bảo rằng bạn đã chuẩn hóa rõ ràng giá trị trung bình của biến và stdev trước đó với scale(); đừng dựa vào glmnet(standardize=T). Để biện minh, xem tiêu chuẩn hóa trước khi Lasso thực sự cần thiết? ; về cơ bản, một biến có giá trị lớn có thể bị trừng phạt không công bằng khi chính quy hóa.

2. Để có thể tái sản xuất, hãy chạy với set.seedmột số hạt ngẫu nhiên và kiểm tra các hệ số chính quy cho sự ổn định.

3. Nếu bạn muốn ít chính quy hóa hơn, tức là bao gồm nhiều biến hơn, hãy sử dụng alpha <1 (nghĩa là lưới đàn hồi thích hợp) thay vì sườn đơn giản. Tôi khuyên bạn nên quét alpha từ 0 đến 1. Nếu bạn sẽ làm điều đó, thì để tránh làm quá mức alpha siêu tham số và lỗi hồi quy, bạn phải sử dụng tính năng chéo, nghĩa là sử dụng cv.glmnet()thay vì đơn giản glmnet():

.

for (alpha in c(0,.1,.3,.5,.7,.9,1)) {
  fit <- cv.glmnet(..., alpha=alpha, nfolds=...)
  # Look at the CVE at lambda.1se to find the minimum for this alpha value...
}

Nếu bạn muốn tự động hóa việc tìm kiếm lưới như vậy với CV, bạn có thể tự viết mã hoặc sử dụng gói caret trên đầu trang của glmnet; Caret làm điều này tốt. Đối với cv.glmnet nfoldsgiá trị tham số, chọn 3 (tối thiểu) nếu tập dữ liệu của bạn nhỏ hoặc 5 hoặc 10 nếu lớn.

Câu 3) Làm thế nào để tôi biết giá trị p, tức là biến nào dự đoán đáng kể phản ứng?

Đừng, chúng không có ý nghĩa . Như đã giải thích chi tiết tại sao không thể lấy thông tin tóm tắt thống kê cho các hệ số hồi quy từ mô hình glmnet?

Chỉ cần để cv.glmnet()thực hiện lựa chọn biến tự động. Với những cảnh báo ở trên. Và tất nhiên, việc phân phối biến trả lời phải bình thường (giả sử bạn đang sử dụng family='gaussian').