Tại sao glmnet sử dụng gốc tọa độ cho hồi quy Ridge?

7

Nếu tôi hiểu chính xác, glmnet sử dụng gốc tọa độ theo chu kỳ không chỉ cho lưới lasso và el thun, mà còn cho hồi quy Ridge.

Tại sao nó sử dụng thuật toán này, đôi khi cho kết quả hơi không chính xác, trong khi thực tế có một giải pháp dạng đóng dễ dàng có sẵn?

Cảm ơn bạn rất nhiều trước!

— Benkyozamurai
nguồn

Hãy tưởng tượng bạn có

λ_{1} \approx λ_{2}

$\lambda_1 \approx \lambda_2$ và bạn tìm kiếm

{\hat{β}}_{λ_{1}}^{r i d g e}

$\hat\beta^{ridge}_{\lambda_1}$ và

{\hat{β}}_{λ_{2}}^{r i d g e}

$\hat\beta^{ridge}_{\lambda_2}$ , ước tính hồi quy sườn núi được lập chỉ mục bởi tham số điều chỉnh. Để sử dụng mẫu kín để tìm

{\hat{β}}_{λ_{2}}

$\hat\beta_{\lambda_2}$ sau khi tính toán

{\hat{β}}_{λ_{1}}

$\hat\beta_{\lambda_1}$ , bạn phải giải một hệ thống tuyến tính hoàn toàn khác mà bạn đã sử dụng để giải quyết

{\hat{β}}_{λ_{1}}

$\hat\beta_{\lambda_1}$ . Nhưng, để sử dụng phối hợp gốc với khởi động ấm, bạn sẽ tìm thấy rất nhanh và hiệu quả

{\hat{β}}_{λ_{2}}

$\hat\beta_{\lambda_2}$ .

— user795305

phương pháp lặp có một số lợi thế trên hệ thống rất lớn và thưa thớt. Vì vậy, ngay cả trong một số trường hợp, giải pháp dạng đóng có sẵn, chúng tôi vẫn sử dụng các phương pháp lặp. Ví dụ: CG để giải hệ thống tuyến tính

— Haitao Du

7

Tôi nghĩ rằng điều này là do tốc độ. Hậu duệ tọa độ chu kỳ không tìm thấy giải pháp chính xác trong thời gian hữu hạn, nhưng nó nhanh hơn, không chỉ cho một lưới $\lambda$ nhưng cũng cho một $\lambda$ .

Hãy xem xét nhiệm vụ giải quyết hồi quy sườn núi cho một lần duy nhất $\lambda$ , với một ma trận dữ liệu có kích thước $n \times p$ . Tôi tin rằng thời gian chạy tối ưu cho hồi quy sườn chính xác là $O(n^2p)$ nếu $n < p$ và $O(np^2)$ nếu $n > p$ . Xem Murphy, Machine Learning , phần 7.5.2 để tham khảo.

Với thuật toán gốc tọa độ theo chu kỳ, "một chu trình hoàn chỉnh xuyên suốt tất cả $p$ chi phí biến $O(pN)$ hoạt động "(trang 6, Friedman và cộng sự 2010, https://www.jstatsoft.org/article/view/v033i01 ). Sau đó, người ta có thể chỉ định một số chu kỳ $c$ với $c \ll min(n, p)$ để có thời gian chạy nhanh lớn hơn cho một lần $\lambda$ . Để giải quyết nhiều $\lambda$ 's, các glmnetphương pháp nên năng suất cải thiện hơn nữa sử dụng bắt đầu ấm áp.

— Brian Z
nguồn

1

Các bộ giải khác cho sườn núi tồn tại và điểm của bộ giải glmnet chính xác là sử dụng CCD vì lý do tốc độ và tốc độ. Họ sử dụng cùng một mã cho tất cả các giải pháp đàn hồi. Elasticnet bao gồm sườn núi và LASSO bằng cách cài đặt $\lambda_1$ hoặc là $\lambda_2$ đến $0$ .

— Tobias Abenius
nguồn