Lập trình bậc hai và Lasso

Tôi đang cố gắng thực hiện hồi quy Lasso, có dạng sau:

Thu nhỏ trong $w$ $(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

Đưa ra một , tôi được khuyên nên tìm tối ưu với sự trợ giúp của lập trình bậc hai, có dạng sau: $\lambda$ $w$

Thu nhỏ trong , tuân theo $x$ $\frac{1}{2} x'Qx + c'x$ $Ax \le b.$

Bây giờ tôi nhận ra rằng thuật ngữ nên được chuyển thành thuật ngữ ràng buộc , điều này khá đơn giản. Tuy nhiên, bằng cách nào đó tôi không thấy làm thế nào tôi có thể chuyển thuật ngữ đầu tiên của phương trình đầu tiên sang thuật ngữ đầu tiên của thứ hai. Tôi không thể tìm thấy nhiều về nó trên mạng, vì vậy tôi quyết định hỏi ở đây. $\lambda$ $Ax \le b$

regression lasso quadratic-form

— spurra
nguồn

Câu trả lời:

Hãy nhớ rằng chúng tôi đang làm việc với là biến ' ' ở dạng chuẩn, mở rộng và thu thập các thuật ngữ trong và trong và và hằng số. $w$ $x$ $(Y - Xw)'(Y - Xw)$ $w'\, [\,_{^{^\text{something}}}]\,w$ $w'$ $w$

Giải thích tại sao bạn có thể bỏ qua các hằng số.

Giải thích tại sao bạn có thể kết hợp các thuật ngữ và . $w'$ $w$

Vì BananaCode hiện đã tìm ra một số dẫn đầu trên đường dẫn, bạn có thể viết và hoặc đơn giản hơn, bạn chỉ có thể viết và (vì và có cùng số argmin cho mọi ). $Q=2X'X$ $c=-2X'Y$ $Q=X'X$ $c=-X'Y$ $f(x)$ $kf(x)$ $k>0$

— Glen_b -Reinstate Monica
nguồn

Các hằng số có thể được bỏ qua, vì nếu x_ là giá trị tối thiểu của f (x), thì x_ + c là mức tối thiểu của f (x) + c, do đó chúng ta có thể bỏ qua hằng số c. Tôi sẽ chỉnh sửa câu hỏi của mình để chỉ ra nơi tôi bị mắc kẹt.

— spurra

BananaCode giải thích của bạn có một số sai sót. Nếu bởi "là tối thiểu đối với " bạn có nghĩa là "là đối số mà tại đó được thu nhỏ", bạn nói một cái gì đó như " là của ". Nhưng kết luận của bạn là sai. Nếu bạn thêm vào , bạn không thêm vào argmin.

f (x)

$f(x)$

f (x)

$f(x)$

x^{*}

$x^*$

argmin

$\text{argmin}$

f

$f$

c

$c$

f

$f$

c

$c$

— Glen_b -Reinstate Monica

Xem nơi tôi đã viết trong câu trả lời của tôi? Cái gì bây giờ bạn có giữa và ở cuối câu hỏi của bạn ??

w^{'} [something] w

$w'\, [\,\text{something}]\,w$

w^{'}

$w'$

w

$w$

— Glen_b -Reinstate Monica

Vâng, ý tôi là là của . Bạn có thể cho một ví dụ mà kết luận của tôi là sai? Các là ma trận Tôi đang cố gắng để tạo thành. Nếu tôi mở rộng tôi sẽ nhận được . Phần đầu tiên sẽ biểu thị dạng ma trận , tuy nhiên tôi không thể thoát khỏi thuật ngữ thứ hai .

x *

$x*$

a r g m i n

$argmin$

f

$f$

[s o m e t h i n g]

$[something]$

Q

$Q$

w^{'} (X^{'} X w - X^{'} Y)

$w'(X'Xw - X'Y)$

w^{'} X^{'} X w - w^{'} X^{'} Y

$w'X'Xw - w'X'Y$

Q

$Q$

- w^{'} X^{'} Y

$-w'X'Y$

— spurra

@ AD.Net Các ràng buộc chủ yếu được đề cập trong câu trả lời khác.

— Glen_b -Reinstate Monica

Tôi muốn thêm cách giải quyết chuyển đổi các ràng buộc thành một dạng có thể sử dụng để lập trình bậc hai, vì nó không hoàn toàn đơn giản như tôi nghĩ. Không thể tìm thấy ma trận thực sao cho . $\sum |w_i| \le s$ $A$ $Aw \le s \leftrightarrow \sum |w_i| \le s$

Cách tiếp cận tôi đã sử dụng là chia các phần tử của vectơ thành và , sao cho . Nếu , bạn có và , nếu không bạn cóvà . Hoặc theo thuật ngữ toán học nhiều hơn, vàCả và đều là số không âm. Ý tưởng đằng sau việc chia số lên là bây giờ bạn có $w_i$ $w$ $w_i^+$ $w_i^-$ $w_i = w_i^+ - w_i^-$ $w_i \ge 0$ $w_i^+ = w_i$ $w_i^- = 0$ $w_i^- = |w_i|$ $w_i^+ = 0$ $w_i^+ = \frac{|w_i| + w_i}{2}$ $w_i^- = \frac{|w_i| - w_i}{2}.$ $w_i^-$ $w_i^+$ $|w_i| = w_i^+ + w_i^-$ , có hiệu quả thoát khỏi các giá trị tuyệt đối.

Hàm để tối ưu hóa biến thành: , chủ đề đến $\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$ $w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

Trong đó và được đưa ra như đã nêu ở trên bởi Glen_b $Q$ $c$

Điều này cần phải được chuyển đổi thành một hình thức có thể sử dụng, tức là chúng ta cần một vector. Điều này được thực hiện theo cách sau:

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

tùy thuộc vào

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

Trong đó là ma trận đơn vị , một vectơ -chiều chỉ bao gồm các giá trị và một vectơ 0 chiềuNửa đầu đảm bảo , Bây giờ, nó ở dạng có thể sử dụng để sử dụng lập trình bậc hai để tìm kiếm và , cho . Khi đã xong, tham số tối ưu của bạn đối với là . $I_D$ $D$ $s_D$ $D$ $s$ $0_D$ $2*D$ $|w_i| = w_i^+ + w_i^- \le s$ $w_i^+,w_i^- \ge 0$ $w^+$ $w^-$ $s$ $s$ $w = w^+ - w^-$

Nguồn và đọc thêm: Giải bài toán lập trình bậc hai với các ràng buộc tuyến tính chứa các giá trị tuyệt đối

— spurra
nguồn

Giả sử chúng ta đã tìm thấy một tối ưu vector chiều . Điều gì đảm bảo rằng và thực sự là phần dương và phần âm của một số vectơ , tức là vị trí nhập của chúng khớp với nhau?

2 D

$2D$

(w^{+}, w^{-})

$(w^+, w^-)$

w^{+}

$w^+$

w^{-}

$w^-$

w

$w$

0

$0$

— Myath

Ma trận và vectơ trong biểu thức cuối cùng có thể đơn giản hơn, và thực sự chính xác hơn. Thay vì [Id Id] [w + w−] 'Sd bạn có thể đặt đơn giản [1 1 .... 1] [w + w-]' s. Điều này có nghĩa đen tương đương với ∑ | wi | = ∑ (wi + + wi−) ≤ s.

— Marko