Phạm vi của lambda trong hồi quy mạng đàn hồi

$\def\l{|\!|}$ Cho hồi quy mạng đàn hồi

min_{b} \frac{1}{2} | | y - X b | |^{2} + α λ | | b | |_{2}^{2} + (1 - α) λ | | b | |_{1}

$\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1$

làm thế nào có thể chọn một phạm vi thích hợp của $\lambda$ để xác thực chéo?

Trong trường hợp $\alpha=1$ (hồi quy sườn) công thức

dof = \sum_{j} \frac{s_{j}^{2}}{s_{j}^{2} + λ}

$\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda}$

có thể được sử dụng để cung cấp một mức độ tự do tương đương cho mỗi lambda (trong đó $s_j$ là các giá trị số ít của $X$ ) và mức độ tự do có thể được chọn trong phạm vi hợp lý.

Trong trường hợp $\alpha=0$ (lasso), chúng ta biết rằng

λ > λ_{max} = max_{j} | \sum_{t} y_{t} X_{t j} |

$\lambda > \lambda_{\textrm{max}} = \max_j|\sum_t y_t X_{tj}|$

sẽ dẫn đến tất cả $b_j$ bằng 0 và có thể chọn $\lambda$ trong một số phạm vi $(0, \lambda_\textrm{max})$ .

Nhưng làm thế nào để xử lý các trường hợp hỗn hợp?

— Chris Taylor
nguồn

Tôi nghĩ bạn nên sử dụng phạm vi từ đến $0$

λ_{max}^{'} = \frac{1}{1 - α} λ_{max}

$\lambda_\text{max}^\prime = \frac{1}{1-\alpha}\lambda_\text{max}$

Lý luận của tôi đến từ việc mở rộng trường hợp Lasso, và một dẫn xuất đầy đủ bên dưới. Vòng loại là nó không nắm bắt được ràng buộc đóng góp bởi chính quy . Nếu tôi tìm ra cách khắc phục điều đó (và quyết định xem nó có thực sự cần sửa hay không), tôi sẽ quay lại và chỉnh sửa nó. $\text{dof}$ $\ell_2$

Xác định mục tiêu

f (b) = \frac{1}{2} ‖ y - X b ‖^{2} + \frac{1}{2} γ ‖ b ‖^{2} + δ ‖ b ‖_{1}

$f(b) = \frac{1}{2} \|y - Xb\|^2 + \frac{1}{2} \gamma \|b\|^2 + \delta \|b\|_1$

Đây là mục tiêu bạn đã mô tả, nhưng với một số tham số được thay thế để cải thiện sự rõ ràng.

Thông thường, chỉ có thể là một giải pháp cho vấn đề tối ưu hóa nếu độ dốc tại bằng không. Tuy nhiên, thuật ngữ không trơn tru, do đó, điều kiện thực sự là nằm trong cấp dưới tại . $b=0$ $\min f(b)$ $b = 0$ $\|b\|_1$ $0$ $b = 0$

Cấp con của là $f$

\partial f = - X^{T} (y - X b) + γ b + δ \partial ‖ b ‖_{1}

$\partial f = -X^T(y - Xb) + \gamma b + \delta \partial \|b\|_1$

trong đó biểu thị người con đối với . Tại , điều này trở thành $\partial$ $b$ $b=0$

\partial f |_{b = 0} = - X^{T} y + δ [- 1, 1]^{d}

$\partial f|_{b=0} = -X^Ty + \delta[-1, 1]^d$

trong đó là kích thước của và a là một khối lập phương . Vì vậy, để bài toán tối ưu hóa có giải pháp , nó phải là $d$ $b$ $[-1,1]^d$ $d$ $b = 0$

(X^{T} y)_{i} \in δ [- 1, 1]

$(X^Ty)_i \in \delta [-1, 1]$

cho mỗi thành phần . Điều này tương đương với $i$

δ > max_{i} | \sum_{j} y_{j} X_{i j} |

$\delta > \max_i \left|\sum_j y_j X_{ij} \right|$

đó là định nghĩa mà bạn đã đưa ra cho . Nếu hiện được hoán đổi, công thức từ đầu bài sẽ rơi ra. $\lambda_\text{max}$ $\delta = (1-\alpha)\lambda$

— Andy Jones
nguồn