KKT so với công thức không giới hạn của hồi quy lasso

Hồi quy bị phạt L1 (còn gọi là lasso) được trình bày theo hai công thức. Đặt hai hàm mục tiêu là

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$ Sau đó, hai công thức khác nhau là

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$ môn học để

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$ và, tương đương

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$ Sử dụng các điều kiện Karush-Kuhn-Tucker (KKT), thật dễ dàng để thấy điều kiện ổn định cho công thức đầu tiên tương đương với việc lấy độ dốc của công thức thứ hai và đặt nó bằng 0. Những gì tôi không thể tìm thấy, cũng không thể tìm ra , là cách điều kiện kia tưởng đâu bổ sung cho việc xây dựng đầu tiên,

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ , được đảm bảo để được thực hiện bởi các giải pháp cho việc xây dựng thứ hai.

regression lasso penalized

— tạm biệt
nguồn

Câu trả lời:

Hai công thức là tương đương theo nghĩa là cho mỗi giá trị của trong việc xây dựng đầu tiên, có tồn tại một giá trị của cho việc xây dựng thứ hai như vậy mà hai công thức có minimizer cùng . $t$ $\lambda$ $\beta$

Đây là lời biện minh:

Xét công thức Lasso: Hãy để minimizer đượcvà để cho

f (β) = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

. Tuyên bố của tôi là rằng nếu bạn đặt

trong việc xây dựng đầu tiên, sau đó là giải pháp của công thức đầu tiên cũng sẽ được

. Đây là bằng chứng:

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

Hãy xem xét công thức đầu tiên Nếu có thể hãy để công thức thứ hai này có một giải pháp như vậy

min \frac{1}{2} | | Y - X β | |_{2}^{2} s.t. | | β | |_{1} \leq b

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$ (lưu ý nghiêm ngặt ít hơn dấu). Sau đó, nó rất dễ dàng để thấy rằng

Trái ngược với thực tế là

là một giải pháp cho Lasso. Do đó, giải pháp cho công thức đầu tiên cũng là

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

Vì , điều kiện độ chùng bổ sung được thỏa mãn tại điểm giải pháp . $t=b$ $\beta^*$

Vì vậy, với công thức Lasso có , bạn xây dựng một công thức bị ràng buộc bằng cách sử dụng bằng giá trị của định mức của giải pháp lasso. Ngược lại, với một công thức bị ràng buộc với , bạn tìm thấy một sao cho giải pháp cho lasso sẽ bằng với giải pháp của công thức bị ràng buộc. $\lambda$ $t$ $l_1$ $t$ $\lambda$

(Nếu bạn biết về subgradients, bạn có thể tìm thấy điều này bằng cách giải phương trình , nơi $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— linh tinh
nguồn

Xuất sắc. Một khi bạn thấy giải pháp bạn luôn cảm thấy ngớ ngẩn vì không tự mình đến đó. Tôi giả sử bạn có nghĩa là, trong việc tìm kiếm các mâu thuẫn, giả sử chúng ta tìm thấy một

như vậy

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— goodepic

Xem xét câu trả lời flaggin là chính xác

— bdeonovic

bạn có thể xây dựng tại sao

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd

Điều này chứng tỏ rằng giải pháp cho công thức đầu tiên cũng phải có chỉ tiêu l1 là b. Làm thế nào để chứng minh rằng hai giải pháp thực sự giống nhau?

— broncoAbierto

Ngoài ra, Lasso không phải lúc nào cũng có một giải pháp duy nhất, vì vậy chúng tôi không thể tham khảo bộ giảm thiểu. arxiv.org/pdf/1206.0313.pdf . Chúng ta có thể, tuy nhiên, hãy tham khảo bộ minimizers và cho thấy rằng một số

phải thuộc về bộ đó.

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— broncoAbierto

Tôi nghĩ rằng ý tưởng của elexhulk cho bằng chứng này là một ý tưởng hay, nhưng tôi không nghĩ nó hoàn toàn chính xác.

Trong cho thấy sự tồn tại của một giải pháp cho việc xây dựng đầu , chẳng hạn rằng dẫn đến một mâu thuẫn, chúng tôi chỉ có thể giả định sự cần thiết của , không rằng $\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ . $\hat{\beta} = \beta^*$

Tôi đề nghị, thay vào đó, chúng tôi tiến hành như sau:

$P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ $\hat{\beta} = \beta^*$ , since we assumed the solution to be unique.

However, it may be the case that the Lasso has multiple solutions. By lemma 1 of arxiv.org/pdf/1206.0313.pdf we know that all of these solutions have the same $\ell 1$ -norm (and the same minimum value, of course). We set that norm as the constraint for the $P_1$ and proceed.

Let's denote by $S$ the set of solutions to $P_2$ , with $\|\beta\|=b \mbox{ } \forall \beta \in S$ . Let $P_1$ have a solution, $\hat{\beta} \notin S$ . Then, we have that $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ and therefore $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ . If $f(\hat{\beta}) = f(\beta)$ for some $\beta \in S$ (and hence for all of them) then $\hat{\beta} \in S$ , which contradicts our assumptions. If $f(\hat{\beta}) < f(\beta)$ for some $\beta \in S$ then $S$ is not the set of solutions to $P_2$ . Therefore, every solution to $P_1$ is in $S$ , i.e. any solution to $P_1$ is also a solution to $P_2$ . It would remain to prove that the complementary holds too.

— broncoAbierto
nguồn