Sửa đổi Lasso cho LARS

12

Tôi đang cố gắng hiểu làm thế nào thuật toán Lars có thể được sửa đổi để tạo Lasso. Trong khi tôi hiểu LARS, tôi không thể thấy sự sửa đổi Lasso từ bài báo của Tibshirani et al. Cụ thể tôi không thấy lý do tại sao điều kiện ký hiệu trong đó dấu của tọa độ khác không phải đồng ý với dấu của mối tương quan hiện tại. Có thể ai đó xin vui lòng giúp tôi với điều này. Tôi đoán rằng tôi đang tìm kiếm một bằng chứng toán học sử dụng điều kiện KKT cho bài toán định mức L-1 ban đầu, tức là Lasso. Cảm ơn nhiều!

lasso

— người mới
nguồn

Bạn đang đề cập đến Efron et al's stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf ? Nó chứng minh điều này trong Bổ đề 8 của phần 5. Hay tôi hiểu nhầm câu hỏi của bạn?

— Peter Ellis

1

Tôi cũng không chắc về câu hỏi, nhưng thực ra, Lasso là sự đơn giản hóa của Lars: Đối với Lasso, bạn chỉ tìm kiếm mối tương quan tích cực giữa các hàm cơ bản còn lại hiện tại và các chức năng cơ bản còn lại, vì chỉ có tương quan tích cực mới dẫn đến tích cực (~ không âm) hệ số.

— Ông Trắng

2

Đặt (kích thước ) biểu thị một tập hợp các đầu vào được tiêu chuẩn hóa, các phản hồi trung tâm (kích thước ), trọng số hồi quy (kích thước ) và a hệ số hình phạt. $X$ $n\times p$ $y$ $n \times 1$ $\beta$ $p \times 1$ $\lambda > 0$ $l_1$

Vấn đề Lasso sau đó viết

\begin{aligned} β^{*} & = {argmin}_{β} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \end{aligned}

$\begin{align} \beta^* &= \text{argmin}_{\beta}\ L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \end{align}$

Giải quyết này cho tất cả các giá trị của sản lượng cái gọi là con đường chính quy Lasso . $\lambda > 0$ $\beta^*(\lambda)$

Đối với một giá trị cố định của hệ số penalisation (số tức là cố định các nhân tố ảnh hoạt động = bước cố định của thuật toán LARS), nó có thể cho thấy đáp ứng (chỉ cần viết ra điều kiện tính dừng KKT như trong này câu trả lời ) $\lambda^*$ $\beta^*$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} (y - X β^{*}), \forall a \in A

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T (y - X \beta^*),\ \ \ \forall a \in A$

với đại diện cho tập hợp các yếu tố dự đoán hoạt động. $A$

Bởi vì phải là số dương (nó là một hệ số penalisation), rõ ràng là dấu hiệu của (trọng lượng của bất kỳ khác không dự đoán vì thế hoạt động) nên giống nhau hơn so với tức là tương quan với dư hồi quy hiện hành. $\lambda^*$ $\beta_a^*$ $X_a^T (y - X\beta^*) = X_{a}^T r$

— Định lượng
nguồn

1

@ Mr._White đã cung cấp một lời giải thích trực quan tuyệt vời về sự khác biệt lớn giữa LARS và Lasso; điểm duy nhất tôi muốn nói thêm là lasso giống như một cách tiếp cận lựa chọn lạc hậu, loại bỏ một thuật ngữ ở mỗi bước miễn là tồn tại một thuật ngữ trong đó tồn tại những tương quan ("bình thường hóa" so với ). LARS giữ mọi thứ trong đó - về cơ bản thực hiện Lasso theo mọi thứ tự có thể. Điều đó không có nghĩa là trong Lasso, mỗi lần lặp phụ thuộc vào thuật ngữ nào đã bị xóa. $X \times X$

$X \times X$ $\zeta$ $\zeta_{min} < \zeta_{current}$ $A$ $x_1$ $x_2$ $x_2$ $x_3$ nhưng không phải với những người khác, v.v.) thứ tự lựa chọn có thể khá sai lệch.

— ví dụ
nguồn