Làm cách nào để xác thực chéo với cv.glmnet (hồi quy LASSO trong R)?

Tôi đang tự hỏi làm thế nào để tiếp cận việc đào tạo và thử nghiệm đúng mô hình LASSO bằng glmnet trong R?

• Cụ thể, tôi tự hỏi làm thế nào để làm như vậy nếu thiếu bộ dữ liệu thử nghiệm bên ngoài bắt buộc tôi phải sử dụng xác thực chéo (hoặc phương pháp tương tự khác) để kiểm tra mô hình LASSO của tôi.

Hãy để tôi phá vỡ kịch bản của tôi:

Tôi chỉ có một bộ dữ liệu để thông báo và huấn luyện mô hình glmnet của mình. Do đó, tôi sẽ phải sử dụng xác thực chéo để phân tách dữ liệu của mình để tạo ra cách kiểm tra mô hình của mình.

Tôi đã sử dụng cv.glmnet, theo chi tiết gói :

Liệu xác thực chéo k-gấp cho glmnet, tạo ra một âm mưu và trả về một giá trị cho lambda.

• Là xác thực chéo được thực hiện cv.glmnetchỉ đơn giản là để chọn lambda tốt nhất, hay nó cũng phục vụ như một thủ tục xác thực chéo chung hơn?

  • Nói cách khác, tôi vẫn cần thực hiện một bước xác thực chéo khác để "kiểm tra" mô hình của mình chứ?

Tôi đang làm việc với giả định rằng, "vâng tôi làm."

Đó là trường hợp, làm thế nào để tôi tiếp cận xác nhận chéo cv.glmnetmô hình của tôi ?

• Tôi có phải làm như vậy bằng tay không, hoặc có lẽ là caretchức năng hữu ích cho các mô hình glmnet?

• Tôi có sử dụng hai "vòng lặp" đồng bộ xác thực chéo không? ... Tôi có sử dụng "vòng lặp bên trong" của CV thông qua cv.glmnetđể xác định giá trị lambda tốt nhất trong mỗi k lần của "vòng lặp bên ngoài" của xử lý xác thực chéo k ?

  • Nếu tôi xác thực chéo cv.glmnetmô hình đã xác thực chéo của mình , làm cách nào để cách ly mô hình "tốt nhất" (từ giá trị lambda "tốt nhất") từ mỗi cv.glmnetmô hình trong mỗi lần lặp lại "vòng lặp bên ngoài" khác của xác thực chéo?

    • Lưu ý: Tôi xác định mô hình "tốt nhất" là mô hình liên kết với một lambda mà tạo ra một MSE trong vòng 1 SE của tối thiểu ... đây là $lambda.1setrong cv.glmnetmô hình.

Bối cảnh:

Tôi đang cố gắng dự đoán tuổi cây ("tuổi") dựa trên đường kính cây ("D"), D ^ 2 và loài ("yếu tố (ĐẶC BIỆT)"). [kết quả phương trình: Age ~ D + factor(SPEC) + D^2]. Tôi có ~ 50K hàng dữ liệu, nhưng dữ liệu theo chiều dọc (theo dõi các cá nhân theo thời gian) và bao gồm ~ 65 loài.

Là xác thực chéo được thực hiện trong cv.glmnet chỉ đơn giản là để chọn lambda tốt nhất, hay nó cũng phục vụ như một thủ tục xác thực chéo chung hơn?

Nó thực hiện hầu hết mọi thứ cần thiết trong một xác nhận chéo. Ví dụ, nó phù hợp với lambdacác giá trị có thể có trên dữ liệu, chọn mô hình tốt nhất và cuối cùng huấn luyện mô hình với các tham số thích hợp.

Ví dụ: trong đối tượng trả về ::

cvmlà lỗi xác nhận chéo trung bình. cvsdlà độ lệch chuẩn ước tính.

Giống như các giá trị được trả về khác, chúng được tính trên tập kiểm tra. cuối cùng

glmnet.fit cung cấp cho mô hình được đào tạo trên tất cả các dữ liệu (đào tạo + kiểm tra) với các tham số tốt nhất.

Tôi có phải làm như vậy bằng tay không, hoặc có lẽ chức năng caret hữu ích cho các mô hình glmnet?

Bạn không cần phải làm điều này bằng tay. 'Caret' sẽ rất hữu ích và là một trong những gói yêu thích của tôi vì nó hoạt động cho tất cả các mô hình khác có cùng cú pháp. Bản thân tôi thường sử dụng carethơn là cv.glmnet. Tuy nhiên, trong kịch bản của bạn về cơ bản là giống nhau.

Tôi có sử dụng hai "vòng" đồng tâm xác thực chéo không? ... Tôi có sử dụng "vòng lặp bên trong" của CV qua cv.glmnet để xác định giá trị lambda tốt nhất trong mỗi k lần của "vòng ngoài" của k-nếp gấp xử lý xác nhận chéo?

Bạn có thể làm điều này và khái niệm này rất giống với ý tưởng về Xác thực chéo Nested Xác thực chéo Nested để lựa chọn mô hình .

Nếu tôi xác thực chéo mô hình cv.glmnet đã xác thực chéo của mình, làm cách nào để cách ly mô hình "tốt nhất" (từ giá trị lambda "tốt nhất") từ mỗi mô hình cv.glmnet trong mỗi lần lặp của vòng lặp bên ngoài của tôi "Xác nhận chéo?

Chỉ cần chạy một vòng lặp trong đó bạn tạo dữ liệu đào tạo và dữ liệu thử nghiệm chạy cv.glmnettrên dữ liệu đào tạo và sử dụng mô hình glmnet.fitđể dự đoán dữ liệu thử nghiệm.