Tham số chính quy LASSO từ thuật toán LARS

Trong bài báo chuyên đề 'Hồi quy góc tối thiểu' , Efron et al mô tả một sửa đổi đơn giản của thuật toán LARS cho phép tính toán các đường dẫn chính quy LASSO đầy đủ.

Tôi đã triển khai biến thể này một cách thành công và thường vẽ đường dẫn đầu ra so với số bước (lặp lại liên tiếp của thuật toán LARS) hoặc -norm của các hệ số hồi quy ( ). $l_1$ $\Vert \beta \Vert_1$

Tuy nhiên, có vẻ như hầu hết các gói có sẵn cung cấp đường dẫn chính quy theo hệ số xử phạt LASSO $\lambda$ (ví dụ: LARS trong R, nơi bạn có thể chơi với đối số 'chế độ' để chuyển đổi giữa các cách biểu diễn khác nhau).

Câu hỏi của tôi là: cơ học được sử dụng để chuyển từ đại diện này sang đại diện khác là gì. Tôi đã thấy nhiều câu hỏi khác nhau liên quan đến vấn đề đó (hay cụ thể hơn là vấn đề ánh xạ ràng buộc bất bình đẳng $\Vert \beta \Vert_1 \leq t$ với một điều khoản phạt thích hợp $\lambda \Vert \beta \Vert_1$ ), nhưng không tìm thấy câu trả lời thỏa mãn.

[Biên tập]

Tôi đã xem xét bên trong một số mã MATLAB thực hiện chuyển đổi cần thiết và, đối với mỗi bước LARS , đây là cách dường như được tính toán: $k$ $\lambda$

λ (k) = max (2 | X^{T} y |), for k = 1

$\lambda(k) = \max( 2 \vert X^T y \vert ),\ \ \ \text{for } k=1$

λ (k) = median (2 | X_{A_{k}}^{T} r_{A_{k}} |), \forall k > 1

$\lambda(k) = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$

Trong đó $X$ (kích thước $n \times p$ ) và $y$ (kích thước $n \times 1$ ) biểu thị đầu vào / phản hồi được tiêu chuẩn hóa, $\mathcal{A}_k$ đại diện cho bộ dự đoán hoạt động 'được đặt ở bước $k$ và $r$ đại diện cho hồi quy hiện tại ở bước $k$ .

Tôi không thể nắm bắt logic đằng sau tính toán đó. Ai đó có thể giúp đỡ?

— Định lượng
nguồn

Tôi đã tìm ra cách thực hiện chuyển đổi cần thiết.

Giả sử rằng các đầu vào được chuẩn hóa (trung bình bằng không, phương sai đơn vị) và các phản hồi được căn giữa. $X$ $y$

Chúng tôi biết rằng thuật toán LARS đã sửa đổi cung cấp đường dẫn chính quy LASSO đầy đủ, xem giấy gốc của Efron et al .

Điều này có nghĩa là, ở mỗi lần lặp , thuật toán cũ tìm thấy một cặp tối ưu giảm thiểu hàm mất thường xuyên: $k$ $(\beta^*, \lambda^*)$

\begin{aligned} (β^{*}, λ^{*}) & = {argmin}_{(β, λ)} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ = \sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} β_{j} X_{i j})}^{2} + λ \sum_{j = 1}^{p} | β_{j} | \end{aligned}

$\begin{align} (\beta^*, \lambda^*) &= \text{argmin}_{(\beta,\lambda)} L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \\ &= \sum_{i=1}^N \left(y_i - \sum_{j=1}^p \beta_j X_{ij}\right)^2 + \lambda \sum_{j=1}^p \vert \beta_j \vert \end{align}$

Đối với tất cả các thành phần hoạt động trong bộ hoạt động ở cuối bước , áp dụng điều kiện ổn định KKT sẽ cho $a=\{1,...,q\}$ $\mathcal{A}_k$ $k$

\begin{aligned} 0 & = \frac{\partial L}{\partial β_{a}} (β^{*}, λ^{*}) \\ = - 2 \sum_{i = 1}^{N} X_{i a} (y_{i} - \sum_{j = 1}^{q} β_{j}^{*} X_{i j}) + λ^{*} sign (β_{a}^{*}) \end{aligned}

$\begin{align} 0 &= \frac{\partial L}{\partial \beta_a}(\beta^*,\lambda^*) \\ &= -2 \sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right) + \lambda^*\ \text{sign}(\beta_a^*) \end{align}$

Nói cách khác hoặc trong các ký hiệu ma trận (lưu ý rằng việc chia / nhân với là giống nhau) phương trình sau được thỏa mãn cho bất kỳ thành phần hoạt động nào :

λ^{*} = 2 \frac{\sum_{i = 1}^{N} X_{i a} (y_{i} - \sum_{j = 1}^{q} β_{j}^{*} X_{i j})}{sign (β_{a}^{*})}

$\lambda^* = 2 \frac{\sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right)}{\text{sign}(\beta_a^*)}$

sign (x)

$\text {sign}(x)$ $a$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} r

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T r$

Trong bài báo gốc, các tác giả đề cập rằng đối với bất kỳ giải pháp nào cho vấn đề LASSO, dấu hiệu của trọng số hồi quy hoạt động ( ) phải giống hệt với dấu hiệu tương quan của yếu tố dự đoán hoạt động tương ứng với dư lượng hồi quy hiện tại ( ), đó chỉ là logic vì phải dương. Do đó chúng ta cũng có thể viết: $\beta_a^*$ $X_a^T r$ $\lambda^*$

λ^{*} = 2 | X_{a}^{T} r |

$\lambda^* = 2 \vert X_a^T r \vert$

Ngoài ra, chúng tôi thấy rằng ở bước cuối cùng (OLS fit, ), chúng tôi nhận được do bổ đề trực giao. Việc sử dụng trung bình trong triển khai MATLAB tôi thấy IMHO có vẻ như là một nỗ lực để 'trung bình hóa' các lỗi số trên tất cả các thành phần hoạt động: $k$ $\beta^* = (X^TX)^{-1}X^T y$ $\lambda^* = 0$

$λ^{*} = median (2 | X_{A_{k}}^{T} r_{A_{k}} |), \forall k > 1$ $\lambda^* = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$

Để tính giá trị của khi không có thành phần hoạt động (bước ), người ta có thể sử dụng thủ thuật tương tự như trên nhưng trong giới hạn vô hạn trong đó tất cả các trọng số hồi quy đều bằng 0 và chỉ có dấu hiệu của thành phần đầu tiên trở thành hoạt động (ở bước ) vấn đề. Sản lượng này: $\lambda$ $k=1$ $b$ $k=2$

λ^{*} = 2 sign (β_{b}^{*}) X_{b}^{T} y

$\lambda^* = 2 \ \text{sign}(\beta_b^*) X_b^T y$ tương đương hoàn toàn với

$λ^{*} = max (2 | X^{T} y |), for k = 1$ $\lambda^* = \max(2 \vert X^T y \vert), \text { for } k=1$

bởi vì (i) nhận xét tương tự như trước đó liên quan đến dấu hiệu của trọng số hồi quy; (ii) thuật toán LARS xác định thành phần tiếp theo để nhập tập hợp hoạt động là thành phần tương quan nhất với phần dư hiện tại , ở bước chỉ đơn giản là . $b$ $k=1$ $y$

— Định lượng
nguồn

Đây là điều được đề cập trong mọi tác phẩm của LASSO nhưng không ai quan tâm giải thích nó (tôi không biết nó rất cơ bản hay là gì, nhưng tôi đã mất rất nhiều thời gian để tìm ra nó). Tôi chỉ muốn nhấn mạnh rằng, mặc dù "tương đương", bạn chỉ có thể đi từ công thức này sang công thức khác (bị ràng buộc không bị ràng buộc và ngược lại) một khi bạn đã giải quyết vấn đề tối ưu hóa và bạn có trọng số tối ưu.

— skd

Tôi cảm thấy như vậy! Theo như nhận xét của bạn, có thực sự. Ở đây, điều này được phản ánh trong phần dư , chỉ có thể được tính khi trọng số hồi quy tối ưu đã đạt được ở cuối bước .

r_{A_{k}}

$r_{\mathcal{A}_k}$

β_{k}

$\beta_k$

k

$k$

— Quantuple