Lưới đàn hồi

Lasso và lưới đàn hồi không thể xử lý các biến có nhiều hơn hai loại và do đó, việc phân chia các biến phân loại thành các hình nộm là cần thiết cho việc áp dụng các phương pháp này. Điều này có thể dẫn đến một số vấn đề và do đó tồn tại các phần mở rộng cho lasso cho nhóm lasso hoặc nhóm lasso thưa thớt .

Tuy nhiên, tôi tự hỏi nếu các phần mở rộng như vậy cũng tồn tại cho mạng đàn hồi. Thật không may, tôi đã không thể tìm thấy bất kỳ tài liệu thống kê về chủ đề này.

Câu hỏi: Có tồn tại một lưới đàn hồi nhóm?

— JSP
nguồn

Nhìn vào gói glmnet của R ...

— kjetil b halvorsen

Vâng, tôi nghĩ đó là chính xác.

— kjetil b halvorsen

Theo một nghĩa rất thực, "lưới đàn hồi nhóm" này chỉ là một phiên bản của "nhóm lasso" nơi các nhóm được phép chồng lên nhau. Chẳng hạn, nếu

G

$\mathcal{G}$ là tập hợp các nhóm của bạn, thì hãy chạy nhóm lasso trên

G \cup {{1, \dots, p}}

$\mathcal{G} \cup \{ \{1, \dots, p\} \}$ , trong đó chúng tôi coi đó là các tính năng

p

$p$ . Đây sẽ là tương đương với nhóm lên net đàn hồi đến một reparameterization của điều chỉnh thông số kiểm soát

{1, \dots, p}

$\{1, \dots, p\}$ .

— user795305

Tập hợp

không còn là phân vùng, không giống như chính

(Đây là nhận xét chồng chéo.) Phần về tham số hóa khác nhau chỉ liên quan đến chức năng mục tiêu mà tôi thảo luận là việc xác định lại tham số mà bạn có thể đang thảo luận. Nhận xét này phần lớn có thể được bỏ qua imo. Ngoài ra, quy trình @kjetilbhalvorsen khuyến nghị không có vẻ đúng. Việc nhóm được thảo luận là khi có một phản ứng đa biến. Điều đó khác biệt. Tuy nhiên, bạn có thể, ví dụ, sử dụng gói để làm điều này.

G \cup {{1, \dots, p}}

$\mathcal{G} \cup \{\{1, \dots, p\}\}$

G

$\mathcal{G}$ gglasso

— user795305

(Lưu ý: Không đặt dấu cách sau dấu "@", nếu không người dùng sẽ không được thông báo.)

— user795305

Đặt là nhóm mà bạn quan tâm; nghĩa là, hãy để là phân vùng của , trong đó chúng tôi coi đó là các tính năng . Với phản ứng và thiết kế ma trận , nhóm Lasso ước lượng là $\mathcal{G}$ $\mathcal{G}$ $\{1, \dots, p\}$ $p$ $y \in \mathbb{R}^n$ $X \in \mathbb{R}^{n \times p}$ Áp dụng một phươnghình phạt để gây co rút tổng thể, chúng tôi muốn có được ước lượng

tranh luận \underset{β \in R^{p}}{tối thiểu} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \underset{g \in G}{Σ} | G |^{1 / 2} ‖ β_{g} ‖_{2} .

$\arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2.$

ℓ_{2}

$\ell_2$

Chúng tôi có thể gọi đây là "lưới đàn hồi nhóm". Bằng cách nhị nguyên Lagrangian, chúng ta có thể viết

tranh luận \underset{β \in R^{p}}{tối thiểu} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \underset{g \in G}{Σ} | G |^{1 / 2} ‖ β_{g} ‖_{2} + μ ‖ β ‖_{2}^{2} .

$\arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \mu \|\beta\|_2^2.$

nơi

là biến kép tương ứng và

\begin{aligned} tranh luận \underset{β \in R^{p}}{tối thiểu} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \underset{g \in G}{Σ} | G |^{1 / 2} ‖ β_{g} ‖_{2} + μ ‖ β ‖_{2}^{2} \\ = = tranh luận \underset{β \in R^{p} : ‖ β ‖_{2}^{2} \leq C}{tối thiểu} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \underset{g \in G}{Σ} | G |^{1 / 2} ‖ β_{g} ‖_{2} \\ = = tranh luận \underset{β \in R^{p} : ‖ β ‖_{2} \leq \sqrt{C}}{tối thiểu} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \underset{g \in G}{Σ} | G |^{1 / 2} ‖ β_{g} ‖_{2} \\ = = tranh luận \underset{β \in R^{p}}{tối thiểu} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \underset{g \in G}{Σ} | G |^{1 / 2} ‖ β_{g} ‖_{2} + \tilde{μ} ‖ β ‖_{2} \\ = = tranh luận \underset{β \in R^{p}}{tối thiểu} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + (λ \underset{g \in G}{Σ} | G |^{1 / 2} ‖ β_{g} ‖_{2} + {\tilde{μ}}^{'} p^{1 / 2} ‖ β ‖_{2}), \end{aligned}

$\begin{align*} \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \mu \|\beta\|_2^2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p \, : \, \|\beta\|_2^2 \leq C} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p \, : \, \|\beta\|_2 \leq \sqrt{C}} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \tilde\mu \|\beta\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \left( \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \tilde\mu' p^{1/2} \|\beta\|_2 \right), \end{align*}$

\tilde{μ}

$\tilde\mu$

{\tilde{μ}}^{'} = p^{- 1 / 2} \tilde{μ}

$\tilde\mu' = p^{-1/2} \tilde\mu$ . Như chúng ta có thể thấy, biểu hiện cuối cùng đây là một Lasso nhóm với "chồng chéo" nhóm, vì

không còn là một phân vùng. Hơn nữa, nhóm

có một biến kép (hoặc biến điều chỉnh)

đó là khác biệt từ biến kép

cho các nhóm khác.

G \cup {1, \dots, p}

$\mathcal{G} \cup \{1, \dots, p\}$

{1, \dots, p}

$\{1, \dots, p\}$

\tilde{μ}

$\tilde\mu$

λ

$\lambda$

Đây có thể là vấn đề tối ưu hóa có thể được giải quyết bằng cách sử dụng gói gglasso. Đọc phần trên trang 9 của tài liệu ở đây sẽ cho bạn biết về gglassochức năng, nên được sử dụng. Lưu ý rằng đối số pmaxsẽ phải được cung cấp thủ công với thành phần cuối cùng sẽ đóng vai trò là tham số điều chỉnh.

— người dùng795305
nguồn