Có thể tính AIC và BIC cho các mô hình hồi quy lasso không?

Có thể tính giá trị AIC hoặc BIC cho các mô hình hồi quy lasso và các mô hình chính quy khác trong đó các tham số chỉ nhập một phần vào phương trình. Làm thế nào để xác định mức độ tự do?

Tôi đang sử dụng R để phù hợp với các mô hình hồi quy lasso với glmnet()hàm từ glmnetgói và tôi muốn biết cách tính giá trị AIC và BIC cho một mô hình. Theo cách này, tôi có thể so sánh các giá trị với các mô hình phù hợp mà không cần chính quy. Đây có phải là có thể làm gì?

Bạn cũng có thể tìm thấy các giấy tờ sau đây cần quan tâm:

RJ Tibshirani và J. Taylor (2011), Mức độ tự do trong các vấn đề về Lasso , bản in sẵn của arXiv: 1111.0653 .

H. Zou, T. Hastie và R. Tibshirani (2007), Về mức độ tự do của Lasso , Biên niên sử Thống kê 35 (5), 2173 Phép2192.

Tôi đã phải vật lộn rất nhiều với cách tính AIC và BIC cho các mô hình glmnet. Tuy nhiên, sau khá nhiều tìm kiếm, tôi tìm thấy trên trang thứ ba của kết quả google câu trả lời. Nó có thể được tìm thấy ở đây . Tôi sẽ đăng nó ở đây cho độc giả tương lai vì tôi tin rằng tôi không thể là người duy nhất.

Cuối cùng, tôi đã triển khai AIC và BIC theo cách sau:

fit <- glmnet(x, y, family = "multinomial") 

tLL <- fit$nulldev - deviance(fit)
k <- fit$df
n <- fit$nobs
AICc <- -tLL+2*k+2*k*(k+1)/(n-k-1)
AICc

BIC<-log(n)*k - tLL
BIC

Trong liên kết được tham chiếu bởi johnnyheineken, tác giả nêu rõ:

Tôi sợ rằng hai đại lượng có sẵn từ đối tượng glmnet (dev.ratio, nulldev) là không đủ để có được khả năng cho mô hình mà bạn cần tính toán AICc. Bạn có hai phương trình trong ba ẩn số: khả năng (null), khả năng (mô hình) và khả năng (bão hòa). Tôi không thể có được khả năng (mô hình) miễn phí từ khả năng (null).

Dường như với tôi, nếu bạn so sánh AIC giữa hai mô hình, thì thực tế là bạn không thể tách rời độ lệch null không quan trọng. Vì nó tồn tại ở cả hai "mặt" của bất đẳng thức, nó sẽ cho thấy mô hình nào phải có AIC thấp hơn. Điều này phụ thuộc vào hai điều:

1. Dữ liệu giống nhau trong cả hai mô hình (dù sao cũng cần thiết để so sánh AIC)
2. Tôi không quên điều gì từ Stat101 cũng như đại số trung học (một giả định mạnh mẽ với lượng caffeine hiện tại của tôi)