Trực giác về mức độ tự do của LASSO

Zou và cộng sự. "Về" mức độ tự do "của Lasso" (2007) cho thấy số lượng các hệ số khác không là một ước tính không thiên vị và nhất quán cho mức độ tự do của Lasso.

Nó có vẻ hơi trái ngược với tôi.

Giả sử chúng ta có một mô hình hồi quy (trong đó các biến là trung bình bằng 0)

y = β x + ε .

$y=\beta x + \varepsilon.$

Giả sử ước tính OLS không giới hạn của là . Nó gần như có thể trùng với ước tính LASSO của cho cường độ hình phạt rất thấp. $\beta$ $\hat\beta_{OLS}=0.5$ $\beta$
Giả sử thêm rằng ước tính LASSO cho cường độ hình phạt cụ thể là . Ví dụ: có thể là "tối ưu" cho tập dữ liệu có sẵn bằng cách sử dụng xác thực chéo. $\lambda^*$ $\hat\beta_{LASSO,\lambda^*}=0.4$ $\lambda^*$ $\lambda$
Nếu tôi hiểu chính xác, trong cả hai trường hợp, bậc tự do là 1 vì cả hai lần đều có một hệ số hồi quy khác không.

Câu hỏi:

Làm thế nào mà mức độ tự do trong cả hai trường hợp đều giống nhau mặc dù cho thấy ít "tự do" hơn trong việc phù hợp hơn ? $\hat\beta_{LASSO,\lambda^*}=0.4$ $\hat\beta_{OLS}=0.5$

Người giới thiệu:

Zou, Hui, Trevor Hastie và Robert Tibshirani. "Trên mức độ tự do của người Viking về Lasso." Biên niên sử Thống kê 35,5 (2007): 2173-2192.

— Richard Hardy
nguồn

câu hỏi tuyệt vời, điều đó sẽ xứng đáng được chú ý nhiều hơn!

— Matifou

$n$ $p$ $x_i \in \mathbb{R}^p$ $i = 1, \dotsc, n$

\begin{aligned} Y_{i} = ⟨ β, x_{i} ⟩ + ϵ \end{aligned}

$\begin{align} Y_i = \langle \beta, x_i\rangle + \epsilon \end{align}$

ϵ \sim N (0, σ^{2})

$\epsilon \sim N(0, \sigma^2)$

β \in R^{p}

$\beta \in \mathbb{R}^p$

⟨ \cdot, \cdot ⟩

$\langle \cdot, \cdot \rangle$

\hat{β} = δ ({Y_{i}}_{i = 1}^{n})

$\hat{\beta} = \delta(\{Y_i\}_{i=1}^n)$

β

$\beta$

δ

$\delta$

\begin{aligned} df (\hat{β}) = \sum_{i = 1}^{n} \frac{Cov (⟨ \hat{β}, x_{i} ⟩, Y_{i})}{σ^{2}} . \end{aligned}

$\begin{align} \text{df}(\hat{\beta}) = \sum_{i=1}^n \frac{\text{Cov}(\langle\hat{\beta}, x_i\rangle, Y_i)}{\sigma^2}. \end{align}$

Bằng cách kiểm tra công thức này, chúng tôi có thể phỏng đoán rằng, theo trực giác của bạn, DOF thực sự cho LASSO thực sự sẽ ít hơn DOF thực sự của OLS; hệ số co ngót do LASSO tác động sẽ có xu hướng làm giảm hiệp phương sai.

Bây giờ, để trả lời câu hỏi của bạn, lý do DOF cho LASSO giống như DOF cho OLS trong ví dụ của bạn chỉ là bạn đang xử lý các ước tính (mặc dù không thiên vị), được lấy từ một tập dữ liệu cụ thể được lấy mẫu từ mô hình , của các giá trị DOF thực sự. Đối với bất kỳ tập dữ liệu cụ thể nào, ước tính như vậy sẽ không bằng giá trị thực (đặc biệt vì ước tính được yêu cầu là số nguyên trong khi giá trị thực là số thực nói chung).

$\lambda$

— e2crawfo
nguồn

{\hat{β}}_{L A S S O} = 0

$\hat\beta_{LASSO}=0$

< 1

$<1$

= 1

$=1$

Nhân tiện, tại sao ước tính mức độ tự do cần phải là số nguyên? Có phải vậy không? Tôi cũng nhận xét rằng ký hiệu sản phẩm bên trong có vẻ phức tạp không cần thiết và hiếm khi được sử dụng trên trang web này; ký hiệu ma trận sẽ đủ. Nhưng đó là sự lựa chọn của bạn, tất nhiên.

— Richard Hardy

Vâng, về khoản tiền của nó lên. Ước tính mức độ tự do phải là một số nguyên cho LASSO (ít nhất là cho một tập dữ liệu duy nhất) chỉ vì ước tính là số lượng các hệ số khác không.

— e2crawfo

Tuyên bố Ước tính mức độ tự do phải là một số nguyên cho LASSO chỉ vì ước tính là số lượng các hệ số khác không có vẻ rất cao đối với tôi. Nói chung, tôi không nghĩ rằng df cần phải là số nguyên, từ chính định nghĩa của df bạn đã viết. Tương tự, trong trường hợp sườn núi, nó không bằng không.

— Matifou