Tại sao độ dốc giảm dần thay vì các phương pháp nâng cấp đơn giản cho Lasso?

Tôi đã suy nghĩ để giải quyết Lasso thông qua các phương pháp nâng cấp vanilla. Nhưng tôi đã đọc những người đề nghị sử dụng giảm dần độ dốc Proximal. Ai đó có thể làm nổi bật lý do tại sao GD gần nhất thay vì phương pháp nâng cấp vanilla được sử dụng cho Lasso không?

— chandresh
nguồn

Một giải pháp gần đúng thực sự có thể được tìm thấy cho Lasso bằng các phương pháp nâng cấp. Ví dụ: giả sử chúng tôi muốn giảm thiểu chức năng mất sau:

f (w; λ) = ‖ y - X w ‖_{2}^{2} + λ ‖ w ‖_{1}

$f(w; \lambda) = \| y - Xw \|_2^2 + \lambda \|w\|_1$

Độ dốc của thời hạn phạt là cho và cho , nhưng thời hạn phạt là không thể phân biệt ở . Thay vào đó, chúng ta có thể sử dụng , tương tự nhưng có giá trị cho . $-\lambda$ $w_i < 0$ $\lambda$ $w_i > 0$ $0$ $\lambda \text{sgn}(w)$ $0$ $w_i = 0$

Cấp con tương ứng cho hàm mất là:

g (w; λ) = - 2 X^{T} (y - X w) + λ sgn (w)

$g(w; \lambda) = -2X^T (y - X w) + \lambda \text{sgn}(w)$

Chúng ta có thể giảm thiểu chức năng mất bằng cách sử dụng một cách tiếp cận tương tự như giảm độ dốc, nhưng sử dụng phần phụ (bằng với độ dốc ở mọi nơi trừ , trong đó độ dốc không xác định). Giải pháp có thể rất gần với giải pháp Lasso thực sự, nhưng có thể không chứa các số 0 chính xác - trong đó trọng số phải bằng 0, thay vào đó chúng tạo ra các giá trị cực kỳ nhỏ. Sự thiếu thưa thớt thực sự này là một lý do để không sử dụng các phương pháp nâng cấp cho lasso. Người giải quyết chuyên dụng tận dụng cấu trúc vấn đề để tạo ra các giải pháp thực sự thưa thớt theo cách tính toán hiệu quả. Bài này $0$ nói rằng, bên cạnh việc tạo ra các giải pháp thưa thớt, các phương thức chuyên dụng (bao gồm các phương pháp gradient gần) có tốc độ hội tụ nhanh hơn các phương pháp nâng cấp. Ông đưa ra một số tài liệu tham khảo.

— người dùng20160
nguồn