Hiểu hồi quy đỉnh âm

Tôi đang tìm tài liệu về hồi quy sườn âm .

Nói tóm lại, đó là một khái quát của hồi quy sườn tuyến tính bằng cách sử dụng âm trong công thức ước tính:Trường hợp tích cực có một lý thuyết hay: như một hàm mất mát, như một ràng buộc, như một Bayes trước đó ... nhưng tôi cảm thấy lạc lõng với phiên bản phủ định chỉ với công thức trên. Nó có ích cho những gì tôi đang làm nhưng tôi không giải thích rõ ràng. $\lambda$

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$

Bạn có biết bất kỳ văn bản giới thiệu nghiêm túc về sườn núi tiêu cực? Làm thế nào nó có thể được giải thích?

regression regularization ridge-regression

— Benoit Sanchez
nguồn

Tôi không biết bất kỳ văn bản giới thiệu nào nói về nó, nhưng nguồn này có thể được khai sáng, đặc biệt là cuộc thảo luận ở cuối trang 18: jstor.org/ sóng / 4616538? Seq = 1 # page_scan_tab_contents

— Ryan Simmons

Trong trường hợp liên kết chết trong tương lai, trích dẫn đầy đủ là: Bjorkström, A. & Sundberg, R. "Một quan điểm tổng quát về hồi quy liên tục". Tạp chí Thống kê Scandinavia, 26: 1 (1999): Trang.17-30

— Ryan Simmons

Cảm ơn rất nhiều. Điều này đưa ra một giải thích rõ ràng về sườn núi thông qua CR khi . (Giá trị riêng lớn nhất của ma trận hiệp phương sai). Vẫn đang tìm cách giải thích với ...

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

— Benoit Sanchez

Lưu ý trong sự phát triển hồi quy sườn núi này từ chính quy Tikhonov rằng chính quy Tikhonov trở thành cho hồi quy sườn. Sau đó, thường được thay thế bằng . Cách duy nhất để làm cho tiêu cực này là là tưởng tượng, tức là bội số của . Được rồi, giờ thì sao? Bạn muốn đi đâu với nó?

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

i = \sqrt{- 1}

$i=\sqrt{-1}$

— Carl

Dãy âm được đề cập ở đây: stats.stackexchange.com/questions/328630/ với một số liên kết

— kjetil b halvorsen

Dưới đây là một minh họa hình học của những gì đang xảy ra với sườn núi âm.

Tôi sẽ xem xét các công cụ ước tính có dạng phát sinh từ hàm mấtDưới đây là một minh họa khá chuẩn về những gì xảy ra trong trường hợp hai chiều với . Zero lambda tương ứng với giải pháp OLS, lambda vô hạn thu nhỏ beta ước tính về 0:

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

L_{λ} = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$

Bây giờ xem xét những gì sẽ xảy ra khi , nơi là giá trị đơn lẻ lớn nhất của . Đối với lambdas âm rất lớn, tất nhiên gần bằng không. Khi lambda tiếp cận , thuật ngữ có một giá trị số gần bằng 0, có nghĩa là nghịch đảo có một giá trị số ít sẽ giảm đi vô cùng. Giá trị số ít này tương ứng với thành phần chính đầu tiên của , do đó, trong giới hạn, người ta sẽ nhận được chỉ theo hướng của PC1 nhưng với giá trị tuyệt đối tăng lên vô cùng. $\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

Điều thực sự tốt đẹp là người ta có thể vẽ nó trên cùng một hình theo cùng một cách: betas được cho bởi các điểm mà các vòng tròn chạm vào các hình elip từ bên trong :

Khi , một logic tương tự được áp dụng, cho phép tiếp tục đường dẫn sườn núi ở phía bên kia của công cụ ước tính OLS. Bây giờ các vòng tròn chạm vào các hình elip từ bên ngoài. giới hạn, betas tiếp cận hướng PC2 (nhưng nó nằm ngoài tầm phác thảo này): $\lambda\in(-s^2_\mathrm{min},0]$

Phạm vi là một khoảng cách về năng lượng : các công cụ ước tính không sống trên cùng một đường cong. $(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

CẬP NHẬT: Trong các bình luận @MartinL giải thích rằng đối với thì mất không có mức tối thiểu nhưng có mức tối đa. Và mức tối đa này được đưa ra bởi . Đây là lý do tại sao cấu trúc hình học tương tự với cảm ứng hình tròn / hình elip tiếp tục hoạt động: chúng tôi vẫn đang tìm kiếm các điểm có độ dốc bằng không. Khi , mất có mức tối thiểu và được đưa ra bởi , chính xác như trong bình thường trường hợp. $\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

Nhưng khi , mất không có mức tối đa hoặc tối thiểu; sẽ tương ứng với điểm yên ngựa. Điều này giải thích "khoảng cách năng lượng". $-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

Các một cách tự nhiên phát sinh từ một hồi quy sườn núi bó buộc cụ thể, xem Giới hạn của "đơn vị sai" hồi quy ước lượng sườn núi khi . Điều này có liên quan đến những gì được biết đến trong tài liệu hóa học là "hồi quy liên tục", xem câu trả lời của tôi trong chuỗi liên kết. $\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

Các có thể được điều trị tại một cách chính xác theo cùng một cách như : hàm tổn thất ở lại cùng và ước lượng sườn núi cung cấp tối thiểu của nó. $\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— amip nói phục hồi Monica
nguồn

Cảm ơn bạn cho các biểu đồ thú vị. Khi , giải pháp bạn đã vẽ biểu đồ là mức tối đa toàn cầu của hàm chi phí, không phải là mức tối thiểu toàn cầu. Tương tự, khi , điểm bạn đã vẽ biểu đồ phải là điểm yên của hàm chi phí.

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

— Martin L

Chỉ xem xét các điều khoản bậc hai trong hàm chi phí. Chúng có thể được viết dưới dạng Đặt , khi đó ma trận trong ngoặc chỉ có giá trị riêng âm. Đặt và ma trận có cả giá trị riêng dương và âm. Những giá trị riêng này ảnh hưởng đến việc điểm đó là điểm yên ngựa, tối thiểu hay tối đa của hàm chi phí.

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

— Martin L

Điều đó rất hữu ích, cảm ơn rất nhiều. Tôi đã thực hiện một bản cập nhật cho câu trả lời của tôi.

— amip nói rằng phục hồi Monica

Cảm ơn bạn. Đặc biệt để nhận ra rằng điểm yên ngựa chỉ giữ khi . Khi , giải pháp thực sự vẫn là mức tối thiểu toàn cầu kể từ đó, là xác định dương. Nhận xét trước đó của tôi là một phần không chính xác.

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$

— Martin L