Can

11

Nếu , có thể tăng khităng? $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ $\|\beta^*\|_2$ $\lambda$

Tôi nghĩ rằng điều này là có thể. Mặc dù không tăng khi tăng (tôi bằng chứng ), có thể tăng. Hình dưới đây cho thấy một khả năng. Khi tăng, nếu hành trình (tuyến tính) từ đến , sau đó tăng trong khi giảm. Nhưng tôi không biết cách xây dựng một ví dụ cụ thể (nghĩa là xây dựng và $\|\beta^*\|_1$ $\lambda$ $\|\beta^*\|_2$ $\lambda$ $\beta^*$ $P$ $Q$ $\|\beta^*\|_2$ $\|\beta^*\|_1$ $X$ $y$ ), để hồ sơ của thể hiện hành vi này. Có ý kiến gì không? Cảm ơn bạn. $\beta^*$

nhập mô tả hình ảnh ở đây

lasso

— zinuang
nguồn

10

Câu trả lời là có, và bạn có một bằng chứng đồ họa trong ngay tại đó. $\ell_2$

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

Trong thực tế, vấn đề bạn muốn giải quyết có thể được nêu là:

$d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

$d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— Tommy L
nguồn

X

$X$

y

$y$

3

$X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

$\beta^*$ $\ell_1$ $\|\beta^*\|_2$

Trên thực tế, Hastie et al. được đề cập trong bài báo Chuyển tiếp hồi quy theo giai đoạn và Lasso đơn điệu , một điều kiện cần và đủ về tính đơn điệu của các đường dẫn hồ sơ:

nhập mô tả hình ảnh ở đây

Trong Phần 6 của bài báo, họ đã xây dựng một bộ dữ liệu nhân tạo dựa trên các hàm cơ sở tuyến tính từng phần vi phạm điều kiện trên, cho thấy tính không đơn điệu. Nhưng nếu chúng ta gặp may mắn, chúng ta cũng có thể tạo một tập dữ liệu ngẫu nhiên thể hiện hành vi tương tự nhưng theo cách đơn giản hơn. Đây là mã R của tôi:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

$X$ $\beta$ $\beta^*$

nhập mô tả hình ảnh ở đây

$\lambda$ $\|\beta^*\|_2$

nhập mô tả hình ảnh ở đây

$\lambda$ $\|\beta^*\|_2$ $\lambda$

— zinuang
nguồn