Độ phức tạp thời gian của hồi quy Lasso là gì?

Độ phức tạp thời gian tiệm cận của hồi quy Lasso là gì khi số lượng hàng hoặc cột tăng lên?

Hãy nhớ lại rằng lasso là một mô hình tuyến tính với độ chính quy .$l_1$

Việc tìm các tham số có thể được coi là một vấn đề tối ưu hóa không bị ràng buộc, trong đó các tham số được đưa ra bởi

.$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$

Trong định dạng bị ràng buộc, các tham số được cho bởi

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

Đó là một vấn đề lập trình bậc hai và do đó đa thức.

Hầu như tất cả các thói quen tối ưu hóa lồi, ngay cả đối với những thứ phi tuyến linh hoạt như mạng thần kinh, đều dựa vào tính toán đạo hàm của các tham số wrt đích của bạn. Bạn không thể lấy đạo hàm của mặc dù. Như vậy bạn dựa vào các kỹ thuật khác nhau. Có nhiều phương pháp để tìm các tham số. Dưới đây là một bài viết đánh giá về chủ đề, Tối ưu hóa bình phương tối thiểu với chính quy L1-Norm . Độ phức tạp thời gian của tối ưu hóa lồi lặp là loại khó để phân tích, vì nó phụ thuộc vào một tiêu chí hội tụ. Nói chung, các vấn đề lặp lại hội tụ trong ít kỷ nguyên hơn khi các quan sát tăng lên.$\alpha||w||_1$

Mặc dù @JacobMick cung cấp một cái nhìn tổng quan rộng hơn và liên kết đến một bài đánh giá, hãy để tôi đưa ra "câu trả lời tắt" (có thể được coi là trường hợp đặc biệt trong câu trả lời của anh ấy).

Đặt số lượng biến số ứng viên (tính năng, cột) là và kích thước mẫu (số lượng quan sát, hàng) là n . Xem xét LASSO được triển khai bằng thuật toán LARS ( Efron et al., 2004 ). Độ phức tạp tính toán của LASSO là O ( K 3 + K 2 n ) ( sđd. )$K$$n$$\mathcal{O}(K^3 + K^2 n)$

• Với , K 3 < K 2 n và độ phức tạp tính toán của LASSO là O ( K 2 n ) , tương tự như hồi quy với các biến K ( Efron et al., 2004 , p. 443-444 ; cũng được trích dẫn trong Schmidt, 2005 , phần 2.4; về độ phức tạp tính toán của hồi quy, xem bài này ).$K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• Đối với , K 3 ⩾ K 2 n và mức độ phức tạp tính toán của Lasso là O ( K 3 ) ( Efron et al., 2004$K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$ ).

Người giới thiệu:

• Efron, Bradley, et al. "Hồi quy góc nhỏ nhất." Biên niên sử Thống kê 32.2 (2004): 407-499.
• Schmidt, Mark. "Tối ưu hóa bình phương tối thiểu với chuẩn hóa l1-Norm." Báo cáo dự án CS542B (2005).