Ridge và LASSO đưa ra một cấu trúc hiệp phương sai?

Sau khi đọc Chương 3 về các yếu tố của học thống kê (Hastie, Tibshrani & Friedman), tôi tự hỏi liệu có thể thực hiện các phương pháp thu nhỏ nổi tiếng được trích dẫn trên tiêu đề của câu hỏi này với cấu trúc hiệp phương sai, nghĩa là giảm thiểu (có lẽ tổng quát hơn ) số lượng

(\vec{y} - X \vec{β})^{T} V^{- 1} (\vec{y} - X \vec{β}) + λ f (β), (1)

$(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1)$

thay vì thông thường Điều này chủ yếu được thúc đẩy bởi thực tế là trong ứng dụng cụ thể của tôi, chúng tôi có các phương sai khác nhau cho

(\vec{y} - X \vec{β}) (\vec{y} - X \vec{β}) + λ f (β) . (2)

$(\vec{y}-X\vec{\beta})(\vec{y}-X\vec{\beta})+\lambda f(\beta).\ \ \ \ \ \ \ \ \ \ \ \ (2)$

\vec{y}

$\vec{y}$ (và đôi khi thậm chí là một cấu trúc hiệp phương sai có thể ước tính) và tôi rất thích đưa chúng vào hồi quy. Tôi đã làm điều đó cho hồi quy sườn: ít nhất là với việc tôi thực hiện nó trong Python / C, tôi thấy rằng có những khác biệt quan trọng trong các đường dẫn mà các hệ số theo dõi, cũng đáng chú ý khi so sánh các đường cong xác thực chéo trong cả hai trường hợp.

$(1)$ $(2)$ $(1)$ $(2)$

Cảm ơn trước cho câu trả lời của bạn!

lasso ridge-regression

— Néstor
nguồn

Câu trả lời trước đó cũng được báo cáo với nhiều chi tiết hơn trong en.wikipedia.org/wiki/Generalized_least_squares Giải pháp có thể được thực hiện bằng cách sử dụng phương pháp tiếp cận quảng trường tối thiểu hóa khả thi (FGLS)

— Nicola Jean

$V^{-1} = L^TL$

(y - X β)^{T} V^{- 1} (y - X β) = (L y - L X β)^{T} (L y - L X β)

$(y - X\beta)^T V^{-1} (y - X\beta) = (Ly - LX\beta)^T (Ly - LX\beta)$

L y

$Ly$

L X

$LX$

— NRH
nguồn