Làm thế nào để quy mô Lasso với kích thước ma trận thiết kế?

Nếu tôi có ma trận thiết kế , trong đó là số lượng quan sát của kích thước , thì độ phức tạp của việc giải quyết cho với LASSO, wrt và ? Tôi nghĩ rằng câu trả lời nên đề cập đến cách một thang đo LASSO chia tỷ lệ với các tham số này, thay vì số lần lặp (hội tụ) tỷ lệ, trừ khi bạn cảm thấy khác. $X\in\mathcal{R}^{n\times d}$ $n$ $d$ $\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}$ $n$ $d$

Tôi đã đọc câu hỏi phức tạp LASSO trước đây , nhưng có vẻ mâu thuẫn với cuộc thảo luận về glmnet ở đây và đây . Tôi biết rằng có nhiều thuật toán ngoài kia, bao gồm cả phương pháp GLM của glmnet, nhưng tôi đang viết một bài báo về việc thay thế một thành phần LASSO thành thuật toán gốc và muốn đưa vào một cuộc thảo luận về độ phức tạp của LASSO, đặc biệt là với và . Tôi cũng muốn biết độ phức tạp của glmnet trong trường hợp không thưa thớt cơ bản, nhưng bài viết được tham khảo hơi khó hiểu vì toàn bộ độ phức tạp thuật toán không rõ ràng. $d$ $n$

— mì
nguồn

Không rõ lý do tại sao câu trả lời này thống kê.stackexchange.com/a/190717/28666 (trong chuỗi mà bạn liên kết đến) không trả lời câu hỏi của bạn. Bạn có thể xây dựng? Có gì mâu thuẫn với cái gì?

— amip nói phục hồi Monica

Trang 6 trong [pdf] [1], ghi "Do đó, một chu trình hoàn chỉnh thông qua tất cả các biến d có giá

". Tuy nhiên, câu hỏi bạn liên kết đến trạng thái

. Tôi có thiếu một vòng lặp ở đây để có được độ phức tạp

không? [1]: jstatsoft.org/article/view/v033i01

O (d n)

$O(dn)$

O (d^{2} n)

$O(d^{2}n)$

d^{2}

$d^{2}$

— rnoodle

@amoeba Liên kết bạn cung cấp là dành cho thuật toán LARS - Tôi muốn biết về phương pháp GLM.

— rnoodle

Các tham chiếu,

cho hồi quy góc nhỏ nhất và

cho gốc tọa độ, là chính xác. Sự khác biệt là (1) LARS tìm thấy một chính xác giải pháp trong

(và làm như vậy đi trên toàn bộ con đường có thể

với độ phức tạp bằng cho vấn đề OLS cho toàn bộ vấn đề, mà cũng có quy mô như

), trong khi (2) gốc tọa độ thực hiện "chỉ" một bước xấp xỉ duy nhất trong

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

O (d^{2} n)

$\mathcal{O}(d^2n)$

λ

$\lambda$

O (d^{2} n)

$\mathcal{O}(d^2n)$

, hội tụ / 'giảm dần' gần với mức tối thiểu của vấn đề LASSO. LARS sử dụngcác bước

. Với sự phối hợp gốc ... không ai biết.

O (d n)

$\mathcal{O}(dn)$

d

$d$

— Sextus Empiricus

Các câu trả lời từ các tài liệu tham khảo,

cho hồi quy góc nhỏ nhất $\mathcal{O}(d^2n)$
cho tọa độ gốc $\mathcal{O}(dn)$

, đúng.

Sự khác biệt là

Phương trình LARS được viết dưới dạng kín và tìm ra lời giải chính xác

$O(d^2n)$

trong khi

$\mathcal{O}(dn)$

$d$ $\mathcal{O}((d-k)n+k^2)$ $d-k$ $k$

$d^2n$ $d$ $d$ $d>>100$ $d=100$

Mở rộng LARS là một vấn đề liên quan đến độ phức tạp tính toán. Quy mô gốc tọa độ là một vấn đề liên quan đến độ phức tạp tính toán và độ hội tụ.

— Sextus Empiricus
nguồn