Giải pháp dạng đóng cho vấn đề Lasso khi ma trận dữ liệu là đường chéo

$\newcommand{\diag}{\operatorname{diag}}$ Chúng tôi có vấn đề: với giả định rằng:

min_{w \in R^{d}} (\frac{1}{n} \sum_{i = 1}^{n} {(⟨ w, x_{i} ⟩ - y_{i})}^{2} + 2 λ | | w | |_{1}),

$\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right),$

\sum_{i = 1}^{n} x_{i} x_{i}^{T} = diag (σ_{1}^{2}, . . ., σ_{d}^{2}) .

$\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2).$

Có một giải pháp dạng đóng trong trường hợp này?

Tôi có điều đó:

(X^{T} X)^{- 1} = = tã (σ_{1}^{- 2}, . . ., σ_{d}^{- 2}),

$(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right),$ và vì vậy tôi nghĩ rằng câu trả lời là :

w^{j} = = y^{j} tối đa {0, 1 - λ \frac{n}{| y^{j} |}},

$w\,^j=y\,^j\max\left\{0,1-\lambda \frac{n}{|y^j|}\right\},$ cho

y^{j} = \sum_{i = 1}^{n} \frac{y_{i} x_{i}^{j}}{σ_{i}^{2}}

$y\,^j=\displaystyle\sum_{i=1}^n\frac{y_ix_i\,^j}{\sigma_i^2}$ , nhưng tôi không chắc.

— Arthur D.
nguồn

Tôi sẽ đi qua dẫn xuất của @ cardinal về giải pháp lasso dạng đóng khi $X^T X = I$ , được tìm thấy ở đây , với những sửa đổi nhỏ.

Tôi sẽ giả sử rằng $\sigma^2_i > 0$ cho tất cả $i$ . Điều này là hợp lý bởi vì nếu chúng ta có $\sigma^2_i = 0$ thì điều này cho chúng ta biết rằng cột thứ $i$ của $X$ là 0 và tôi nghĩ việc loại trừ trường hợp đó là hợp lý. Tôi sẽ cho $X^T X = D$ . Lưu ý rằng điều này cũng có nghĩa là $X$ là thứ hạng đầy đủ và giải pháp OLS $\hat \beta$ được xác định duy nhất.

Tôi cũng sẽ sửa đổi ký hiệu của bạn để phù hợp hơn với câu trả lời mà tôi đang tham khảo. Cuối cùng, tôi sẽ giải quyết

{\hat{β}}_{λ} = {argmin}_{β \in R^{p}} \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$\hat \beta_\lambda = \text{argmin}_{\beta \in \mathbb R^p } \frac 12 \vert \vert Y - X\beta\vert \vert^2_2 + \lambda \vert \vert \beta \vert \vert_1.$

Điều này giống hệt với vấn đề của bạn nhưng tôi có thể thêm chi tiết ở đây nếu bạn muốn.

Theo dẫn xuất của @ cardinal, chúng ta cần giải quyết

{\hat{β}}_{λ} = argmin \frac{1}{2} (Y^{T} Y - 2 Y^{T} X β + β^{T} X^{T} X β) + λ | | β | |_{1}

$\hat \beta_\lambda = \text{argmin } \frac 12 (Y^T Y - 2 Y^T X \beta + \beta^T X^T X \beta) + \lambda \vert \vert \beta \vert \vert_1$

= argmin - Y^{T} X β + \frac{1}{2} β^{T} D β + λ | | β | |_{1} .

$= \text{argmin } -Y^T X \beta + \frac 12 \beta^T D \beta + \lambda \vert \vert \beta \vert \vert_1.$

Lưu ý rằng giải pháp OLS là , chúng tôi có $\hat \beta = (X^T X)^{-1} X^T Y = D^{-1}X^T Y$

{\hat{β}}_{λ} = argmin - {\hat{β}}^{T} D β + \frac{1}{2} β^{T} D β + λ | | β | |_{1}

$\hat \beta_\lambda = \text{argmin } -\hat \beta^T D \beta + \frac 12 \beta^T D \beta + \lambda \vert \vert \beta \vert \vert_1$

= argmin \sum_{j = 1}^{p} - {\hat{β}}_{j} β_{j} σ_{j}^{2} + \frac{σ_{j}^{2}}{2} β_{j}^{2} + λ | β_{j} | .

$= \text{argmin } \sum_{j=1}^p -\hat \beta_j \beta_j \sigma^2_j + \frac{\sigma^2_j}2 \beta_j^2 + \lambda | \beta_j|.$

Chúng tôi đang tối ưu hóa riêng biệt cho từng , vì vậy chúng tôi có thể giải quyết riêng từng điều khoản của khoản tiền này. Điều này có nghĩa là chúng ta cần giảm thiểu trong đó $\beta_j$ $\mathcal L_j$

L_{j} = - {\hat{β}}_{j} β_{j} σ_{j}^{2} + \frac{σ_{j}^{2}}{2} β_{j}^{2} + λ | β_{j} | .

$\mathcal L_j = -\hat \beta_j \beta_j \sigma^2_j + \frac{\sigma^2_j}2 \beta_j^2 + \lambda | \beta_j|.$

Theo một đối số hoàn toàn không phù hợp với câu trả lời được liên kết, chúng tôi thấy rằng

({\hat{β}}_{λ})_{j} = s g n ({\hat{β}}_{j}) {(| {\hat{β}}_{j} | - \frac{λ}{σ_{j}^{2}})}^{+} .

$(\hat \beta_\lambda)_j = \mathrm{sgn}(\hat \beta_j) \left(|\hat \beta_j| - \frac{\lambda}{\sigma^2_j}\right)^+.$

Hơn nữa, vì vậy chúng tôi có $\hat \beta = D^{-1} X^T Y \implies \hat \beta_j = \frac{X_j^T Y}{\sigma_j^2}$

{(| {\hat{β}}_{j} | - \frac{λ}{σ_{j}^{2}})}^{+} = = \frac{1}{σ_{j}^{2}} {(| X_{j}^{T} Y | - λ)}^{+}

$\left(|\hat \beta_j| - \frac{\lambda}{\sigma^2_j}\right)^+ = \frac 1 {\sigma^2_j} \left(|X_j^T Y| - \lambda\right)^+$

Vì vậy, nó chỉ ra rằng một dự đoán $X_j$ sẽ bị loại bỏ chính xác khi nào nếu ma trận thiết kế là trực giao, không chỉ trực giao. Vì vậy, chúng ta có thể thấy rằng trong trường hợp này với , lựa chọn biến không khác so với nếu , nhưng các hệ số thực tế được chia tỷ lệ theo phương sai dự đoán. $X^T X = D \neq I$ $X^T X = I$ $\hat \beta_\lambda$

Như một lưu ý cuối cùng, tôi sẽ biến giải pháp này thành một giải pháp tương tự như của bạn, điều đó có nghĩa là chúng ta cần nhân với thứ gì đó để có được $\hat \beta$ $\hat \beta_\lambda$ . Nếu thì chúng ta có $(\hat \beta_\lambda)_j \neq 0$

({\hat{β}}_{λ})_{j} = = sgn ({\hat{β}}_{j}) (| {\hat{β}}_{j} | - \frac{λ}{σ_{j}^{2}}) = = {\hat{β}}_{j} - sgn ({\hat{β}}_{j}) \frac{λ}{σ_{j}^{2}}

$(\hat \beta_\lambda)_j = \text{sgn}(\hat \beta_j) \left( \vert \hat \beta_j \vert - \frac{\lambda}{\sigma^2_j} \right) = \hat \beta_j - \text{sgn}(\hat \beta_j) \frac{\lambda}{\sigma^2_j}$

= = {\hat{β}}_{j} (1 - \frac{λ}{σ_{j}^{2} | {\hat{β}}_{j} |})

$= \hat \beta_j \left( 1 - \frac{\lambda}{\sigma^2_j \vert \hat \beta_j \vert} \right)$

kể từ . $\frac{a}{\vert a \vert} = \text{sgn}(a)$

Ghi chú điều đó $(\hat \beta_\lambda)_j = 0$ chính xác khi

| {\hat{β}}_{j} | - \frac{λ}{σ_{j}^{2}} \leq 0 ⟺ | {\hat{β}}_{j} | \leq \frac{λ}{σ_{j}^{2}} ⟺ 1 \leq \frac{λ}{σ_{j}^{2} | {\hat{β}}_{j} |} ⟺ 1 - \frac{λ}{σ_{j}^{2} | {\hat{β}}_{j} |} \leq 0,

$\vert \hat \beta_j \vert - \frac{\lambda}{\sigma^2_j} \leq 0 \iff \vert \hat \beta_j \vert \leq \frac{\lambda}{\sigma^2_j} \iff 1 \leq \frac{\lambda}{\sigma^2_j \vert \hat \beta_j \vert} \iff 1 - \frac{\lambda}{\sigma^2_j \vert \hat \beta_j \vert} \leq 0,$

chúng tôi thấy rằng chúng tôi có thể thay thế biểu hiện $\hat \beta_\lambda$ là

({\hat{β}}_{λ})_{j} = = {\hat{β}}_{j} {(1 - \frac{λ}{σ_{j}^{2} | {\hat{β}}_{j} |})}^{+} .

$(\hat \beta_\lambda)_j = \hat \beta_j \left( 1 - \frac{\lambda}{\sigma^2_j \vert \hat \beta_j \vert} \right)^+.$

Vì vậy, điều này rất gần với những gì bạn đã có nhưng không hoàn toàn giống nhau.

Tôi luôn muốn kiểm tra các dẫn xuất như thế này đối với các thư viện nổi tiếng nếu có thể, vì vậy đây là một ví dụ trong R:

## generating `x`
set.seed(1)
n = 1000
p = 5
sigma2s = 1:p
x = svd(matrix(rnorm(n * p), n, p))$u %*% diag(sqrt(sigma2s))

## check this
# t(x) %*% x

## generating `y`
betas = 1:p
y = x %*% betas + rnorm(nrow(x), 0, .5)

lambda = 2

## using a well-known library to fit lasso
library(penalized)
penalized(y, x, lambda1 = lambda)@penalized


## using closed form solution
betahat = lm(y ~ x - 1)$coef
ifelse(betahat > 0, 1, -1) * sapply(abs(betahat) - lambda / sigma2s, function(v) max(c(0, v)))

— jld
nguồn