Dẫn xuất của giải pháp Lasso dạng kín

Đối với vấn đề Lasso sao cho . Tôi thường thấy kết quả ngưỡng mềm cho trường hợp trực giao . Người ta tuyên bố rằng giải pháp có thể "dễ dàng được hiển thị" là như vậy, nhưng tôi chưa bao giờ thấy một giải pháp hiệu quả. Có ai nhìn thấy một hoặc có lẽ đã thực hiện đạo hàm? $\min_\beta (Y-X\beta)^T(Y-X\beta)$ $\|\beta\|_1 \leq t$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - γ)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+$

X

$X$

lasso

— Gary
nguồn

Điều này có vẻ hơi bối rối. Lúc đầu, bạn giả sử một ràng buộc

t

$t$ và trong giải pháp bạn giới thiệu một tham số

γ

$\gamma$ . Tôi đoán bạn dự định hai điều này có liên quan đến nhau thông qua vấn đề kép, nhưng có lẽ bạn có thể làm rõ những gì bạn đang tìm kiếm.

— Đức hồng y

Đáp ứng một phần với @cardinal, tìm

β

$\beta$ thu nhỏ

(Y - X β)^{'} (Y - X β)

$(Y-X\beta )'(Y-X\beta )$ theo

‖ β ‖_{1} \leq t

$\|\beta\|_1 \leq t$ tương đương với việc tìm

β

$\beta$ thu nhỏ

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ . Có một mối quan hệ 1-1 giữa

t

$t$ và

γ

$\gamma$ . Để 'dễ dàng' thấy lý do tại sao kết quả ngưỡng mềm là như vậy, tôi khuyên bạn nên giải quyết biểu thức thứ hai (trong nhận xét của tôi).

Một lưu ý khác, khi tìm thấy

β

$\beta$ thu nhỏ

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ , giải quyết vấn đề thành các trường hợp

β_{j} > 0

$\beta_j >0$ ,

β_{j} < 0

$\beta_j<0$ và

β = 0

$\beta=0$ .

@cardinal À đúng rồi, 1-1 không đúng. Sửa lỗi: với mỗi

t \geq 0

$t\geq0$ , bạn có thể tìm thấy một

γ \geq 0

$\gamma\geq 0$ .

Cảm ơn cho một cuộc thảo luận tuyệt vời! Tôi đã xem qua video này trên coursera - Xuất phát bản cập nhật gốc tọa độ Lasso , rất phù hợp với cuộc thảo luận này, và đi qua giải pháp rất thanh lịch. Có thể hữu ích cho khách truy cập trong tương lai :-)

— zorbar

Câu trả lời:

Điều này có thể bị tấn công theo một số cách, bao gồm các cách tiếp cận khá kinh tế thông qua các điều kiện của Karush, Kuhn, Tucker .

Dưới đây là một đối số thay thế khá cơ bản.

Giải pháp bình phương tối thiểu cho một thiết kế trực giao

Giả sử gồm các cột trực giao. Sau đó, giải pháp bình phương nhỏ nhất là $X$

{\hat{β}}^{LS} = (X^{T} X)^{- 1} X^{T} y = X^{T} y .

$\newcommand{\bls}{\hat{\beta}^{{\small \text{LS}}}}\newcommand{\blasso}{\hat{\beta}^{{\text{lasso}}}} \bls = (X^T X)^{-1} X^T y = X^T y \>.$

Một số vấn đề tương đương

Thông qua hình thức Lagrangian, thật đơn giản để thấy rằng một vấn đề tương đương với vấn đề được xem xét trong câu hỏi là

min_{β} \frac{1}{2} ‖ y - X β ‖_{2}^{2} + γ ‖ β ‖_{1} .

$\min_\beta \frac{1}{2} \|y - X \beta\|_2^2 + \gamma \|\beta\|_1 \>.$

Mở rộng thuật ngữ đầu tiên, chúng tôi nhận được và vì không chứa bất kỳ trong số các biến quan tâm, chúng tôi có thể loại bỏ nó và xem xét một vấn đề tương đương khác, $\frac{1}{2} y^T y - y^T X \beta + \frac{1}{2}\beta^T \beta$ $y^T y$

min_{β} (- y^{T} X β + \frac{1}{2} ‖ β ‖^{2}) + γ ‖ β ‖_{1} .

$\min_\beta (- y^T X \beta + \frac{1}{2} \|\beta\|^2) + \gamma \|\beta\|_1 \>.$

Lưu ý rằng , vấn đề trước đó có thể được viết lại thành $\bls = X^T y$

min_{β} \sum_{i = 1}^{p} - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\min_\beta \sum_{i=1}^p - \bls_i \beta_i + \frac{1}{2} \beta_i^2 + \gamma |\beta_i| \> .$

Hàm mục tiêu của chúng tôi hiện là tổng của các mục tiêu, mỗi mục tiêu tương ứng với một biến riêng biệt , do đó , mỗi mục tiêu có thể được giải quyết riêng lẻ. $\beta_i$

Tổng số bằng tổng số phần của nó

Sửa một nhất định . Sau đó, chúng tôi muốn giảm thiểu $i$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma |\beta_i| \> .$

Nếu , thì chúng ta phải có vì nếu không chúng ta có thể lật dấu của nó và nhận giá trị thấp hơn cho hàm mục tiêu. Tương tự như vậy nếu , thì chúng ta phải chọn . $\bls_i > 0$ $\beta_i \geq 0$ $\bls_i < 0$ $\beta_i \leq 0$

Trường hợp 1 : . Vì , và phân biệt điều này với và đặt giá trị bằng 0 , chúng tôi nhận được và điều này chỉ khả thi nếu phía bên phải là không có giá trị, vì vậy trong trường hợp này, giải pháp thực tế là $\bls_i > 0$ $\beta_i \geq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ β_{i},

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma \beta_i \> ,$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} - γ

$\beta_i = \bls_i - \gamma$

{\hat{β}}_{i}^{lasso} = ({\hat{β}}_{i}^{LS} - γ)^{+} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = (\bls_i - \gamma)^+ = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

Trường hợp 2 : . Điều này ngụ ý chúng ta phải có và vì vậy Khác biệt với và đặt bằng 0, chúng tôi nhận được . Nhưng, một lần nữa, để đảm bảo điều này là khả thi, chúng tôi cần , điều này đạt được bằng cách lấy $\bls_i \leq 0$ $\beta_i \leq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} - γ β_{i} .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 - \gamma \beta_i \> .$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} + γ = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)

$\beta_i = \bls_i + \gamma = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)$

β_{i} \leq 0

$\beta_i \leq 0$

{\hat{β}}_{i}^{lasso} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

Trong cả hai trường hợp, chúng tôi nhận được hình thức mong muốn, và vì vậy chúng tôi đã hoàn thành.

Chú thích cuối

— hồng y
nguồn

Viết tuyệt vời @cardinal!

— Gary

+1 Toàn bộ nửa sau có thể được thay thế bằng quan sát đơn giản rằng hàm mục tiêu là sự kết hợp của các bộ phận của hai parabar lồi với các đỉnh tại , trong đó dấu âm được lấy cho và ngược lại. Công thức chỉ là một cách ưa thích để chọn đỉnh thấp hơn.

β \to \frac{1}{2} β^{2} + (\pm γ - \hat{β}) β

$\beta\to\frac{1}{2}\beta^2+(\pm\gamma-\hat{\beta})\beta$

\pm γ - \hat{β}

$\pm\gamma-\hat{\beta}$

β < 0

$\beta\lt 0$

— whuber

Nếu có thể, tôi muốn xem các đạo hàm sử dụng các điều kiện tối ưu KKT. Có những cách nào khác để có được kết quả này?

— dùng1137731

@Cardinal: cảm ơn vì một dẫn xuất tốt đẹp. Một quan sát. Nếu tôi nhớ lại, ma trận với các cột trực giao không giống như ma trận trực giao (hay còn gọi là trực giao). Sau đó cho một số ma trận đường chéo (không nhất thiết là ma trận danh tính). Với giả định ma trận trực giao (như trong câu hỏi ban đầu), chúng ta có và tất cả trông rất tuyệt :)

X^{'} X = D

$X'X=D$

D

$D$

X^{'} X = I

$X'X=I$

— Oleg Melnikov

@cardinal Tôi không hiểu lý do tại sao bạn nói "vì nếu không chúng ta có thể lật dấu của nó và nhận giá trị thấp hơn cho hàm mục tiêu". Chúng tôi đang lấy đạo hàm của hàm mục tiêu. Vậy nếu chức năng mục tiêu cao hơn hay thấp hơn thì ai quan tâm. Tất cả những gì chúng tôi quan tâm là đạo hàm được đặt thành 0, chúng tôi quan tâm đến cực trị. Cho dù nó cao hơn hay thấp hơn bởi một hằng số đều không ảnh hưởng đến argmin.

— dùng13985

Giả sử rằng biến số , các cột của , cũng được chuẩn hóa để . Điều này chỉ để thuận tiện sau này: không có nó, ký hiệu sẽ nặng hơn vì chỉ là đường chéo. Hơn nữa giả sử rằng . Đây là một giả định cần thiết cho kết quả để giữ. Xác định công cụ ước lượng bình phương nhỏ nhất . Sau đó, công cụ ước tính (dạng Lagrangian của) $x_j$ $X \in \mathbb{R}^{n \times p}$ $X^T X = I$ $X^T X$ $n \geq p$ $\hat\beta_{OLS} = \arg\min_\beta \|y - X \beta\|_2^2$

\begin{aligned} (defn.) & {\hat{β}}_{λ} & = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (OLS is projection) & = \arg min_{β} \frac{1}{2 n} ‖ X {\hat{β}}_{O L S} - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (X^{T} X = I) & = \arg min_{β} \frac{1}{2 n} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (algebra) & = \arg min_{β} \frac{1}{2} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + n λ ‖ β ‖_{1} \\ (defn.) & = {p r o x}_{n λ ‖ \cdot ‖_{1}} ({\hat{β}}_{O L S}) \\ (takes some work) & = S_{n λ} ({\hat{β}}_{O L S}), \end{aligned}

$\begin{align*} \hat\beta_\lambda & = \arg\min_{\beta} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{defn.} \\ & = \arg\min_\beta \frac{1}{2n} \|X \hat\beta_{OLS} - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{OLS is projection} \\ & = \arg\min_\beta \frac{1}{2n} \|\hat\beta_{OLS} - \beta\|_2^2 + \lambda \|\beta\|_1 \tag{$X^TX=I$} \\ & = \arg\min_\beta \frac{1}{2} \|\hat\beta_{OLS} - \beta\|_2^2 + n \lambda \|\beta\|_1 \tag{algebra} \\ & = \mathrm{prox}_{n \lambda \|\cdot\|_1} \left( \hat\beta_{OLS} \right) \tag{defn.} \\ & = S_{n \lambda} \left( \hat\beta_{OLS} \right) \tag{takes some work}, \end{align*}$ \ end {align *} trong đó là toán tử gần nhất của hàm và ngưỡng mềm theo số lượng

{p r o x}_{f}

$\mathrm{prox}_f$

f

$f$

S_{α}

$S_{\alpha}$

α

$\alpha$ .

Đây là một dẫn xuất bỏ qua đạo hàm chi tiết của toán tử proximal mà Cardinal thực hiện, nhưng, tôi hy vọng, làm rõ các bước chính có thể tạo thành một dạng đóng.

— người dùng795305
nguồn