Tại sao dẫn xuất của tôi về một giải pháp lasso dạng đóng không chính xác?

Vấn đề lasso có giải pháp dạng đóng: nếu có các cột trực giao. Điều này đã được thể hiện trong chủ đề này: Dẫn xuất của giải pháp lasso dạng đóng .

β^{Lasso} = = \underset{β}{argmin} ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$

β_{j}^{Lasso} = = S g n (β_{j}^{LS}) (| β_{j}^{LS} | - α)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+$

X

$X$

Tuy nhiên, tôi không hiểu tại sao không có giải pháp dạng kín nói chung. Sử dụng phân nhóm tôi thu được như sau.

( $X$ là ma trận $n \times p$ )

f (β) = = ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$f(\beta)=\|{y-X\beta}\|_2^2 + \alpha\|{\beta}\|_1$

= = Σ_{tôi = = 1}^{n} (y_{tôi} - X_{tôi} β)^{2} + α Σ_{j = = 1}^{p} | β_{j} |

$=\sum_{i=1}^n (y_i-X_i\beta)^2 + \alpha \sum_{j=1}^p |\beta_j|$ (

X_{i}

$X_i$ là hàng thứ i của

X

$X$ )

= = Σ_{tôi = = 1}^{n} y_{tôi}^{2} - 2 Σ_{tôi = = 1}^{n} y_{tôi} X_{tôi} β + Σ_{tôi = = 1}^{n} β^{T} X_{tôi}^{T} X_{tôi} β + α Σ_{j = = 1}^{p} | β_{j} |

$= \sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$

\Rightarrow \frac{\partial f}{\partial β_{j}} = = - 2 Σ_{tôi = = 1}^{n} y_{tôi} X_{tôi j} + 2 Σ_{tôi = = 1}^{n} X_{tôi j}^{2} β_{j} + \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$\Rightarrow \frac{\partial f}{\partial \beta_j}= -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

= = {\begin{cases} - 2 Σ_{tôi = = 1}^{n} y_{tôi} X_{tôi j} + 2 Σ_{tôi = = 1}^{n} X_{tôi j}^{2} β_{j} + α cho β_{j} > 0 \\ - 2 Σ_{tôi = = 1}^{n} y_{tôi} X_{tôi j} + 2 Σ_{tôi = = 1}^{n} X_{tôi j}^{2} β_{j} - α cho β_{j} < 0 \\ [- 2 Σ_{tôi = = 1}^{n} y_{tôi} X_{tôi j} - α, - 2 Σ_{tôi = = 1}^{n} y_{tôi} X_{tôi j} + α] cho β_{j} = = 0 \end{cases}

$= \begin{cases} -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \alpha \text{ for } \beta_j > 0 \\ -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j - \alpha \text{ for } \beta_j < 0 \\ [-2\sum_{i=1}^ny_i X_{ij} - \alpha, -2\sum_{i=1}^ny_i X_{ij} + \alpha] \text{ for } \beta_j = 0 \end{cases}$ Với

\frac{\partial f}{\partial β_{j}} = 0

$\frac{\partial f}{\partial \beta_j} = 0$ chúng tôi nhận được

β_{j} = = {\begin{cases} (2 (Σ_{tôi = = 1}^{n} y_{tôi} X_{tôi j}) - α) / 2 Σ_{tôi = = 1}^{n} X_{tôi j}^{2} & cho Σ_{tôi = = 1}^{n} y_{tôi} X_{tôi j} > α \\ (2 (Σ_{tôi = = 1}^{n} y_{tôi} X_{tôi j}) + α) / 2 Σ_{tôi = = 1}^{n} X_{tôi j}^{2} & cho Σ_{tôi = = 1}^{n} y_{tôi} X_{tôi j} < - α \\ 0 & cho Σ_{tôi = = 1}^{n} y_{tôi} X_{tôi j} \in [- α, α] \end{cases}

$\beta_j = \begin{cases} \left( 2(\sum_{i=1}^ny_i X_{ij}) - \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} > \alpha \\ \left( 2(\sum_{i=1}^ny_i X_{ij}) + \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} < -\alpha \\ 0 &\text{ for }\sum_{i=1}^ny_i X_{ij} \in [-\alpha, \alpha] \end{cases}$

Có ai thấy tôi đã đi sai ở đâu không?

Câu trả lời:

Nếu chúng ta viết bài toán về các ma trận, chúng ta có thể thấy rất dễ dàng tại sao một giải pháp dạng đóng chỉ tồn tại trong trường hợp trực giao với $X^TX= I$ :

f (β) = = ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$f(\beta)= \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$

= = y^{T} y - 2 β^{T} X^{T} y + β^{T} X^{T} X β + α ‖ β ‖_{1}

$= y^Ty -2\beta^TX^Ty + \beta^TX^TX\beta + \alpha \| \beta\|_1$

\Rightarrow \nabla f (β) = = - 2 X^{T} y + 2 X^{T} X β + \nabla (α | β ‖_{1})

$\Rightarrow \nabla f(\beta)=-2X^Ty + 2X^TX\beta + \nabla(\alpha| \beta\|_1)$ (Tôi đã thực hiện nhiều bước cùng một lúc tại đây. Tuy nhiên, cho đến thời điểm này hoàn toàn tương tự với đạo hàm của giải pháp bình phương nhỏ nhất. Vì vậy, bạn sẽ có thể tìm thấy các bước còn thiếu ở đó.)

\Rightarrow \frac{\partial f}{\partial β_{j}} = = - 2 X_{j}^{T} y + 2 (X^{T} X)_{j} β + \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$\Rightarrow \frac{\partial f}{\partial \beta_j}=-2X^T_{j} y + 2(X^TX)_j \beta + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

Với $\frac{\partial f}{\partial \beta_j} = 0$ chúng tôi nhận được

2 (X^{T} X)_{j} β = = 2 X_{j}^{T} y - \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$2(X^TX)_j \beta =2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

\Leftrightarrow 2 (X^{T} X)_{j j} β_{j} = = 2 X_{j}^{T} y - \frac{\partial}{\partial β_{j}} (α | β_{j} |) - 2 Σ_{tôi = = 1, tôi \neq j}^{p} (X^{T} X)_{j tôi} β_{tôi}

$\Leftrightarrow 2(X^TX)_{jj} \beta_j = 2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|) - 2\sum_{i=1,i\neq j}^p(X^TX)_{ji}\beta_i$

Bây giờ chúng ta có thể thấy rằng giải pháp của chúng tôi cho một phụ thuộc vào tất cả các vì vậy không rõ cách tiến hành từ đây. Nếu là trực giao, chúng ta có vì vậy chắc chắn tồn tại một giải pháp dạng đóng trong trường hợp này. $\beta_j$ $\beta_{i\neq j}$ $X$ $2(X^TX)_j \beta = 2(I)_j \beta = 2\beta_j$

Cảm ơn Guðmundur Einarsson cho câu trả lời của anh ấy, trên đó tôi đã xây dựng ở đây. Tôi hy vọng lần này là chính xác :-)

regression lasso regularization

— Norbert
nguồn

Chào mừng bạn đến với CrossValidated, và chúc mừng bài đăng đầu tiên rất hay!

— S. Kolassa - Tái lập Monica

Điều này thường được thực hiện với hồi quy góc tối thiểu, bạn có thể tìm thấy bài báo ở đây .

Xin lỗi về sự nhầm lẫn của tôi lúc đầu, tôi sẽ thực hiện một nỗ lực khác vào lúc này.

Vì vậy, sau khi mở rộng chức năng của bạn bạn nhận được $f(\beta)$

f (β) = \sum_{i = 1}^{n} y_{i}^{2} - 2 \sum_{i = 1}^{n} y_{i} X_{i} β + \sum_{i = 1}^{n} β^{T} X_{i}^{T} X_{i} β + α \sum_{j = 1}^{p} | β_{j} |

$f(\beta)=\sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$

Sau đó, bạn tính đạo hàm riêng đối với . Mối quan tâm của tôi là trong tính toán của bạn về đạo hàm riêng của thuật ngữ cuối cùng trước định mức 1, tức là thuật ngữ bậc hai. Hãy xem xét thêm. Chúng tôi có điều đó: $\beta_j$

X_{i} β = β^{T} X_{i}^{T} = (β_{1} X_{i 1} + β_{2} X_{i 2} + \dots + β_{p} X_{i p})

$X_i\beta = \beta^T X_i^T = (\beta_1 X_{i1}+\beta_2 X_{i2}+\cdots+ \beta_p X_{ip})$ Vì vậy, về cơ bản bạn có thể viết lại thuật ngữ bậc hai của bạn là: Bây giờ chúng ta có thể sử dụng quy tắc chuỗi để tính đạo hàm của wrt này :

\sum_{i = 1}^{n} β^{T} X_{i}^{T} X_{i} β = \sum_{i = 1}^{n} (X_{i} β)^{2}

$\sum_{i=1}^n \beta^T X_i^T X_i \beta = \sum_{i=1}^n (X_i \beta)^2$

β_{j}

$\beta_j$

\frac{\partial}{\partial β_{j}} \sum_{i = 1}^{n} (X_{i} β)^{2} = \sum_{i = 1}^{n} \frac{\partial}{\partial β_{j}} (X_{i} β)^{2} = \sum_{i = 1}^{n} 2 (X_{i} β) X_{i j}

$\frac{\partial }{\partial \beta_j} \sum_{i=1}^n (X_i \beta)^2 = \sum_{i=1}^n \frac{\partial }{\partial \beta_j} (X_i \beta)^2 = \sum_{i=1}^n 2(X_i \beta)X_{ij}$

Vì vậy, bây giờ vấn đề của bạn không đơn giản hóa dễ dàng, bởi vì bạn có tất cả các hệ số có trong mỗi phương trình. $\beta$

Điều này không trả lời câu hỏi của bạn về lý do tại sao không có giải pháp dạng đóng của Lasso, tôi có thể thêm một cái gì đó sau đó.

— Gume
nguồn

Cảm ơn rất nhiều. Bây giờ tôi thực sự có thể thấy tại sao không có giải pháp dạng đóng (xem phần chỉnh sửa của tôi).

— Norbert

Ngọt! Công việc tuyệt vời :)

— Gumeo