nhỏ nhất cung cấp thành phần 0 trong lasso là gì?

Xác định ước tính lasso nơi hàng của thiết kế ma trận là một vector của hiệp phương sai để giải thích đáp ứng ngẫu nhiên (cho ).

{\hat{β}}^{λ} = \arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1},

$\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,$

i^{t h}

$i^{th}$

x_{i} \in R^{p}

$x_i \in \mathbb{R}^p$

X \in R^{n \times p}

$X \in \mathbb{R}^{n \times p}$

y_{i}

$y_i$

i = 1, \dots n

$i=1, \dots n$

Chúng tôi biết rằng với $\lambda \geq \frac{1}{n} \|X^T y\|_\infty$ , ước tính lasso $\hat\beta^\lambda = 0$ . (Xem, ví dụ, phạm vi tham số điều chỉnh Lasso và Ridge .) Trong ký hiệu khác, điều này thể hiện rằng $\lambda_\max = \frac{1}{n} \|X^T y\|_\infty$ . Lưu ý rằng $\lambda_\mathrm{max} = \sup_{\hat\beta^\lambda \ne 0} \lambda.$ Chúng ta có thể thấy điều này một cách trực quan với hình ảnh sau đây hiển thị đường dẫn giải pháp Lasso:

Chú ý rằng trên xa phía bên tay phải của cốt truyện, tất cả các hệ số bằng không. Điều này xảy ra tại điểm $\lambda_\mathrm{max}$ được mô tả ở trên.

Từ cốt truyện này, chúng tôi cũng thông báo rằng trên xa bên trái, tất cả các hệ số là khác không: giá trị của những gì là mà bất kỳ thành phần của là ban đầu không? Đó là, bằng, như một hàm của và ? Tôi quan tâm đến một giải pháp dạng kín. Cụ thể, tôi không quan tâm đến một giải pháp thuật toán, chẳng hạn như, gợi ý rằng LARS có thể tìm thấy nút thắt thông qua tính toán. $\lambda$ $\hat\beta^\lambda$

λ_{min} = min_{\exists j s . t . {\hat{β}}_{j} = 0} λ

$\lambda_\textrm{min} = \min_{\exists j \, \mathrm{ s.t. } \, \hat\beta_j = 0} \lambda$

X

$X$

y

$y$

Bất chấp sở thích của tôi, có vẻ như có thể không có sẵn ở dạng đóng, vì nếu không, các gói tính toán của Lasso có thể sẽ tận dụng lợi thế của nó khi xác định độ sâu tham số điều chỉnh trong quá trình xác thực chéo. Về vấn đề này, tôi quan tâm đến bất kỳ điều gì có thể được hiển thị trên lý thuyết về và (vẫn) đặc biệt quan tâm đến một hình thức đóng. $\lambda_\mathrm{min}$ $\lambda_\mathrm{min}$

lasso regularization

— người dùng795305
nguồn

Điều này được nêu và chứng minh trong bài báo glmnet

— Matthew Drury

@MatthewDrury Cảm ơn bạn đã chia sẻ điều này! Tuy nhiên, bài viết này dường như không chia sẻ những gì bạn dường như đề nghị họ làm. Cụ thể, lưu ý rằng là .

λ_{max}

$\lambda_\max$

λ_{min}

$\lambda_\min$

— dùng795305

Bạn có chắc chắn chúng tôi cần thẻ [điều chỉnh tham số]?

— amip nói phục hồi Monica

bạn có quyền, một hình thức đóng cho giải pháp Lasso nói chung không tồn tại (xem stats.stackexchange.com/questions/174003/ trên ). tuy nhiên, lars ít nhất cho bạn biết những gì đang xảy ra và trong điều kiện chính xác / tại thời điểm nào bạn có thể thêm / xóa một biến. Tôi nghĩ rằng một cái gì đó như thế này là tốt nhất bạn có thể nhận được.

— chRrr

@chRrr Tôi không chắc điều đó hoàn toàn công bằng khi nói: chúng tôi biết rằng cho . Đó là, trong trường hợp cực đoan của giải pháp là 0, chúng ta có một dạng đóng. Tôi đang hỏi liệu điều tương tự có đúng trong trường hợp cực đoan của ước tính Lasso là dày đặc (tức là không có số không). Thật vậy, tôi thậm chí không quan tâm đến các mục chính xác của --- chỉ là chúng có bằng không hay không.

{\hat{β}}^{λ} = 0

$\hat\beta^\lambda = 0$

λ \geq \frac{1}{n} ‖ X^{t} y ‖_{\infty}

$\lambda \geq \frac{1}{n} \|X^t y\|_\infty$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

— dùng795305

Ước tính lasso được mô tả trong câu hỏi là hệ số nhân tương đương với vấn đề tối ưu hóa sau:

minimize f (β) subject to g (β) \leq t

${\text{minimize } f(\beta) \text{ subject to } g(\beta) \leq t}$

\begin{aligned} f (β) & = \frac{1}{2 n} | | y - X β | |_{2}^{2} \\ g (β) & = | | β | |_{1} \end{aligned}

$\begin{align} f(\beta) &= \frac{1}{2n} \vert\vert y-X\beta \vert\vert_2^2 \\ g(\beta) &= \vert\vert \beta \vert\vert_1 \end{align}$

Optimizazion này có một biểu diễn hình học của việc tìm điểm tiếp xúc giữa một hình cầu đa chiều và một đa giác (được kéo dài bởi các vectơ của X). Bề mặt của đa giác thể hiện . Bình phương bán kính của hình cầu đại diện cho hàm và được thu nhỏ khi các bề mặt tiếp xúc. $g(\beta)$ $f(\beta)$

Các hình ảnh dưới đây cung cấp một lời giải thích đồ họa. Các hình ảnh đã sử dụng bài toán đơn giản sau đây với các vectơ có độ dài 3 (để đơn giản để có thể tạo một bản vẽ):

[\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \end{matrix}] = [\begin{matrix} 1.4 \\ 1.84 \\ 0.32 \end{matrix}] = β_{1} [\begin{matrix} 0.8 \\ 0.6 \\ 0 \end{matrix}] + β_{2} [\begin{matrix} 0 \\ 0.6 \\ 0.8 \end{matrix}] + β_{3} [\begin{matrix} 0.6 \\ 0.64 \\ - 0.48 \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ϵ_{3} \end{matrix}]

$\begin{bmatrix} y_1 \\ y_2 \\ y_3\\ \end{bmatrix} = \begin{bmatrix} 1.4 \\ 1.84 \\ 0.32\\ \end{bmatrix} = \beta_1 \begin{bmatrix} 0.8 \\ 0.6 \\ 0\\ \end{bmatrix} +\beta_2 \begin{bmatrix} 0 \\ 0.6 \\ 0.8\\ \end{bmatrix} +\beta_3 \begin{bmatrix} 0.6 \\ 0.64 \\ -0.48\\ \end{bmatrix} + \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \epsilon_3\\ \end{bmatrix}$ và chúng tôi thu nhỏ với ràng buộc

ϵ_{1}^{2} + ϵ_{2}^{2} + ϵ_{3}^{2}

$\epsilon_1^2+\epsilon_2^2+\epsilon_3^2$

a b s (β_{1}) + a b s (β_{2}) + a b s (β_{3}) \leq t

$abs(\beta_1)+abs(\beta_2)+abs(\beta_3) \leq t$

Những hình ảnh cho thấy:

Bề mặt màu đỏ mô tả các ràng buộc, một đa giác được kéo dài bởi X.
Và bề mặt màu xanh lá cây mô tả bề mặt tối giản, một hình cầu.
Đường màu xanh hiển thị đường dẫn Lasso, các giải pháp mà chúng tôi tìm thấy khi chúng tôi thay đổi hoặc . $t$ $\lambda$
Vectơ màu xanh lá cây hiển thị giải pháp OLS (được chọn là hoặc . $\hat{y}$ $\beta_1=\beta_2=\beta_3=1$ $\hat{y} = x_1 + x_2 + x_3$
Ba vectơ màu đen là , và . $x_1 = (0.8,0.6,0)$ $x_2 = (0,0.6,0.8)$ $x_3 = (0.6,0.64,-0.48)$

Chúng tôi hiển thị ba hình ảnh:

Trong hình ảnh đầu tiên chỉ có một điểm của đa giác chạm vào hình cầu . Hình ảnh này thể hiện rất rõ lý do tại sao giải pháp Lasso không chỉ là bội số của giải pháp OLS. Hướng của giải pháp OLS thêm mạnh hơn vào tổng . Trong trường hợp này, chỉ có một khác không. $\vert \beta \vert_1$ $\beta_i$
Trong hình ảnh thứ hai, một sườn núi đa giác chạm vào hình cầu (ở các chiều cao hơn, chúng ta có các phép tương tự chiều cao hơn). Trong trường hợp này, nhiều khác không. $\beta_i$
Trong hình ảnh thứ ba, một khía cạnh của hình đa giác đang chạm vào hình cầu . Trong trường hợp này, tất cả các đều khác $\beta_i$ .

Phạm vi của hoặc mà chúng ta có trường hợp thứ nhất và thứ ba có thể dễ dàng tính được do biểu diễn hình học đơn giản của chúng. $t$ $\lambda$

Trường hợp 1: Chỉ một khác không $\beta_i$

Giá trị khác không là giá trị mà vectơ liên kết có giá trị tuyệt đối cao nhất của hiệp phương sai với (đây là điểm của parrallelotope gần nhất với giải pháp OLS). Chúng tôi có thể tính hệ số nhân Lagrange bên dưới mà chúng tôi có ít nhất một giá trị khác không bằng cách lấy đạo hàm với (dấu hiệu tùy thuộc vào việc chúng tôi tăng theo hướng tiêu cực hay tích cực): $\beta_i$ $x_i$ $\hat{y}$ $\lambda_{max}$ $\beta$ $\pm\beta_i$ $\beta_i$

\frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2} - λ | | β | |_{1})}{\pm \partial β_{i}} = 0

$\frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2 - \lambda \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i} = 0$

dẫn đến

λ_{m a x} = \frac{(\frac{1}{2 n} \frac{\partial (| | y - X β | |_{2}^{2}}{\pm \partial β_{i}})}{(\frac{| | β | |_{1})}{\pm \partial β_{i}})} = \pm \frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2}}{\partial β_{i}} = \pm \frac{1}{n} x_{i} \cdot y

$\lambda_{max} = \frac{ \left( \frac{1}{2n}\frac{\partial ( \vert \vert y - X\beta \vert \vert_2^2}{\pm \partial \beta_i} \right) }{ \left( \frac{ \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i}\right)} = \pm \frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2}{\partial \beta_i} = \pm \frac{1}{n} x_i \cdot y$

bằng với được đề cập trong các bình luận. $\vert \vert X^Ty \vert \vert_\infty$

trong đó chúng ta nên chú ý rằng điều này chỉ đúng với trường hợp đặc biệt trong đó đầu của đa giác chạm vào hình cầu ( vì vậy đây không phải là một giải pháp chung , mặc dù việc khái quát hóa rất đơn giản).

Trường hợp 3: Tất cả đều khác không. $\beta_i$

Trong trường hợp này, một khía cạnh của đa giác đang chạm vào quả cầu. Sau đó, hướng thay đổi của đường dẫn Lasso là bình thường đối với bề mặt của khía cạnh cụ thể.

Đa giác có nhiều khía cạnh, với sự đóng góp tích cực và tiêu cực của . Trong trường hợp của bước Lasso cuối cùng, khi giải pháp Lasso gần với giải pháp ols, thì các đóng góp của phải được xác định bằng dấu hiệu của giải pháp OLS. Bình thường của khía cạnh có thể được xác định bằng cách lấy độ dốc của hàm , giá trị của tổng beta tại điểm , đó là: $x_i$ $x_i$ $\vert \vert \beta(r) \vert \vert_1$ $r$

n = - \nabla_{r} (| | β (r) | |_{1}) = - \nabla_{r} (sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T} r) = - sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}

$n = - \nabla_r ( \vert \vert \beta(r) \vert \vert_1) = -\nabla_r ( \text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^Tr ) = -\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T$

và sự thay đổi tương đương của beta cho hướng này là:

{\vec{β}}_{l a s t} = (X^{T} X)^{- 1} X n = - (X^{T} X)^{- 1} X^{T} [sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}]

$\vec{\beta}_{last} = (X^TX)^{-1}X n = -(X^TX)^{-1}X^T [\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T]$

mà sau khi một số thủ thuật đại số với chuyển dịch transposes ( ) và phân phối các dấu ngoặc trở thành $A^TB^T = [BA]^T$

{\vec{β}}_{l a s t} = - (X^{T} X)^{- 1} sign (\hat{β})

$\vec{\beta}_{last} = - (X^TX)^{-1} \text{sign} (\hat{\beta})$

chúng tôi bình thường hóa hướng này:

{\vec{β}}_{l a s t, n o r m a l i z e d} = \frac{{\vec{β}}_{l a s t}}{\sum {\vec{β}}_{l a s t} \cdot s i g n (\hat{β})}

$\vec{\beta}_{last,normalized} = \frac{\vec{\beta}_{last}}{\sum \vec{\beta}_{last} \cdot sign(\hat{\beta})}$

Để tìm bên dưới, tất cả các hệ số đều khác không. Chúng ta chỉ phải tính toán lại từ giải pháp OLS trở lại điểm mà một trong các hệ số bằng 0, $\lambda_{min}$

d = m i n (\frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}}) with the condition that \frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}} > 0

$d = min \left( \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} \right)\qquad \text{with the condition that } \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} >0$

và tại thời điểm này, chúng tôi đánh giá đạo hàm (như trước đây khi chúng tôi tính toán ). Chúng tôi sử dụng điều đó cho một hàm bậc hai, chúng tôi có : $\lambda_{max}$ $q'(x) = 2 q(1) x$

λ_{m i n} = \frac{d}{n} | | X {\vec{β}}_{l a s t, n o r m a l i z e d} | |_{2}^{2}

$\lambda_{min} = \frac{d}{n} \vert \vert X \vec{\beta}_{last,normalized} \vert \vert_2^2$

Hình ảnh

một điểm của đa giác chạm vào hình cầu, một khác không: $\beta_i$

một sườn núi (hoặc khác nhau về nhiều chiều) của đa giác đang chạm vào hình cầu, nhiều khác không: $\beta_i$

một khía cạnh của đa giác đang chạm vào hình cầu, tất cả đều khác không: $\beta_i$

Mã ví dụ:

library(lars)    
data(diabetes)
y <- diabetes$y - mean(diabetes$y)
x <- diabetes$x

# models
lmc <- coef(lm(y~0+x))
modl <- lars(diabetes$x, diabetes$y, type="lasso")

# matrix equation
d_x <- matrix(rep(x[,1],9),length(x[,1])) %*% diag(sign(lmc[-c(1)]/lmc[1]))
x_c = x[,-1]-d_x
y_c = -x[,1]

# solving equation
cof <- coefficients(lm(y_c~0+x_c))
cof <- c(1-sum(cof*sign(lmc[-c(1)]/lmc[1])),cof)

# alternatively the last direction of change in coefficients is found by:
solve(t(x) %*% x) %*% sign(lmc)

# solution by lars package
cof_m <-(coefficients(modl)[13,]-coefficients(modl)[12,])

# last step
dist <- x %*% (cof/sum(cof*sign(lmc[])))
#dist_m <- x %*% (cof_m/sum(cof_m*sign(lmc[]))) #for comparison

# calculate back to zero
shrinking_set <- which(-lmc[]/cof>0)  #only the positive values
step_last <- min((-lmc/cof)[shrinking_set])

d_err_d_beta <- step_last*sum(dist^2)

# compare
modl[4] #all computed lambda
d_err_d_beta  # lambda last change
max(t(x) %*% y) # lambda first change
enter code here

lưu ý: ba dòng cuối cùng là quan trọng nhất

> modl[4]            # all computed lambda by algorithm
$lambda
 [1] 949.435260 889.315991 452.900969 316.074053 130.130851  88.782430  68.965221  19.981255   5.477473   5.089179
[11]   2.182250   1.310435

> d_err_d_beta       # lambda last change by calculating only last step
    xhdl 
1.310435 
> max(t(x) %*% y)    # lambda first change by max(x^T y)
[1] 949.4353

Được viết bởi StackExchangeStrike

— Sextus Empiricus
nguồn

λ_{max}

$\lambda_\max$

i

$i$

=

$=$

$x_i$ $\hat{y}$

\frac{\partial}{\partial β_{i}} ‖ y - X β ‖_{2}^{2}

$\frac{\partial}{\partial \beta_i} \|y - X \beta\|_2^2$

β = 0

$\beta=0$

\frac{\partial}{\partial β_{i}} | | y - X β | |_{2}^{2}

$\frac{\partial}{\partial\beta_i} \vert \vert y - X\beta \vert \vert_2^2$

= = \frac{\partial | | y - X β | |_{2}}{\partial β_{Tôi}} 2 | | y - X β | |_{2}

$= \frac{\partial \vert \vert y - X\beta \vert \vert_2}{\partial\beta_i} 2 \vert \vert y - X\beta \vert \vert_2$

= = \frac{\partial | | y - S x_{Tôi} | |_{2}}{\partial S} 2 | | y - X β | |_{2}

$= \frac{\partial \vert \vert y - s x_i \vert \vert_2}{\partial s} 2 \vert \vert y - X\beta \vert \vert_2$

= = 2 c o r (x_{Tôi}, y) | | x_{Tôi} | |_{2} | | y | |_{2}

$= 2 cor(x_i,y) \vert \vert x_i \vert \vert_2 \vert \vert y \vert \vert_2$

= = 2 x_{Tôi} \cdot y

$= 2 x_i \cdot y$

s x_{i}

$s x_i$

y

$y$

y - s x_{i}

$y - s x_i$

β = 0

$\beta = 0$

λ_{max}

$\lambda_\max$

nhỏ nhất cung cấp thành phần 0 trong lasso là gì?

Trường hợp 1: Chỉ một khác khôngβiβi\beta_i

Trường hợp 3: Tất cả đều khác không.βiβi\beta_i

Hình ảnh

Mã ví dụ:

Trường hợp 1: Chỉ một khác không $\beta_i$

Trường hợp 3: Tất cả đều khác không. $\beta_i$