Làm thế nào để tìm hệ số hồi quy

Trong hồi quy sườn núi, hàm mục tiêu để được giảm thiểu là:

RSS + λ \sum β_{j}^{2} .

$\text{RSS}+\lambda \sum\beta_j^2.$

Điều này có thể được tối ưu hóa bằng phương pháp số nhân Lagrange không? Hay là sự khác biệt thẳng?

regression regularization ridge-regression

— Minaj
nguồn

Mối liên hệ giữa các tiêu đề (trong đó tập trung vào là gì

λ

$\lambda$ ) và câu hỏi (mà dường như chỉ về

β_{j}

$\beta_j$ )? Tôi lo ngại rằng "được tối ưu hóa" có thể có những cách hiểu khác nhau tùy thuộc vào biến nào được coi là biến có thể thay đổi và biến nào sẽ được sửa.

— whuber

cảm ơn đã sửa đổi câu hỏi Tôi đã đọc rằng

được tìm thấy bằng cách kiểm chứng chéo - nhưng tôi tin rằng phương tiện bạn có

đã và sử dụng dữ liệu khác nhau để tìm tốt nhất

Câu hỏi là - làm thế nào để bạn tìm thấy những

là ở nơi đầu tiên khi

là một người vô danh?

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

— Minaj

Có hai công thức cho vấn đề sườn núi. Điều thứ nhất là

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β)

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$

tùy thuộc vào

\sum_{j} β_{j}^{2} \leq s .

$\sum_{j} \beta_j^2 \leq s.$

Công thức này cho thấy ràng buộc kích thước trên các hệ số hồi quy. Lưu ý những gì ràng buộc này ngụ ý; chúng ta đang buộc các hệ số phải nằm trong một quả bóng xung quanh nguồn gốc với bán kính . $\sqrt{s}$

Công thức thứ hai chính xác là vấn đề của bạn

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β) + λ \sum β_{j}^{2}

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$

có thể được xem như là công thức nhân số lớn. Lưu ý rằng đây là một tham số điều chỉnh và giá trị lớn hơn của nó sẽ dẫn đến co rút lớn hơn. Bạn có thể tiến hành để phân biệt các biểu hiện liên quan đến với và có được ước lượng sườn núi nổi tiếng $\lambda$ $\boldsymbol{\beta}$

\begin{matrix} (1) & β_{R} = {(X^{'} X + λ I)}^{- 1} X^{'} y \end{matrix}

$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$

Hai công thức là hoàn toàn tương đương , vì có sự tương ứng một-một giữa và . $s$ $\lambda$

Hãy để tôi giải thích một chút về điều đó. Hãy tưởng tượng rằng bạn đang ở trong trường hợp trực giao lý tưởng, . Đây là một tình huống rất đơn giản và không thực tế nhưng chúng ta có thể điều tra người ước tính chặt chẽ hơn một chút để chịu đựng tôi. Xem xét những gì xảy ra với phương trình (1). Công cụ ước tính sườn núi giảm xuống $\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

β_{R} = {(I + λ I)}^{- 1} X^{'} y = {(I + λ I)}^{- 1} β_{O L S}

$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$

như trong trường hợp trực giao, công cụ ước lượng OLS được cho bởi . Nhìn vào thành phần này bây giờ chúng ta có được $\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

\begin{matrix} (2) & β_{R} = \frac{β_{O L S}}{1 + λ} \end{matrix}

$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$

Lưu ý rằng bây giờ độ co là không đổi cho tất cả các hệ số. Điều này có thể không giữ trong trường hợp tổng quát và thực sự nó có thể được chỉ ra rằng shrinkages sẽ rất khác nhau nếu có degeneracies trong ma trận. $\mathbf{X}^{\prime} \mathbf{X}$

Nhưng hãy trở lại vấn đề tối ưu hóa bị ràng buộc. Theo lý thuyết KKT , một điều kiện cần thiết cho sự tối ưu là

λ (\sum β_{R, j}^{2} - s) = 0

$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$

do đó, hoặc hoặc (trong trường hợp này chúng ta nói rằng các hạn chế có tính ràng buộc). Nếu thì không có hình phạt và chúng tôi đang trở lại trong tình hình OLS thông thường. Giả sử sau đó ràng buộc là ràng buộc và chúng ta đang ở trong tình huống thứ hai. Sử dụng công thức trong (2), sau đó chúng ta có $\lambda = 0$ $\sum \beta_{R,j} ^2 -s = 0$ $\lambda = 0$

s = \sum β_{R, j}^{2} = \frac{1}{{(1 + λ)}^{2}} \sum β_{O L S, j}^{2}

$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$

từ đâu chúng ta có được

λ = \sqrt{\frac{\sum β_{O L S, j}^{2}}{s}} - 1

$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$

mối quan hệ một đối một trước đây đã tuyên bố. Tôi hy vọng điều này là khó khăn hơn để thiết lập trong trường hợp không trực giao nhưng kết quả mang lại bất kể.

Nhìn lại (2) mặc dù và bạn sẽ thấy chúng ta vẫn đang thiếu . Để có được giá trị tối ưu cho nó, bạn có thể sử dụng xác thực chéo hoặc nhìn vào dấu vết sườn núi. Phương pháp thứ hai liên quan đến việc xây dựng một chuỗi in (0,1) và xem cách các ước tính thay đổi. Sau đó, bạn chọn ổn định chúng. Phương pháp này đã được đề xuất trong phần thứ hai của các tài liệu tham khảo dưới đây và là phương pháp cũ nhất. $\lambda$ $\lambda$ $\lambda$

Người giới thiệu

Hoerl, Arthur E. và Robert W. Kennard. "Hồi quy độ dốc: Ước tính thiên vị cho các vấn đề phi chính thống." Kỹ thuật 12.1 (1970): 55-67.

Hoerl, Arthur E. và Robert W. Kennard. "Hồi quy độ dốc: ứng dụng cho các vấn đề phi chính thống." Kỹ thuật 12.1 (1970): 69-82.

— JohnK
nguồn

Hồi quy @Minaj Ridge có độ co rút không đổi cho tất cả các hệ số (trừ hệ số chặn). Đó là lý do tại sao chỉ có một số nhân.

— JohnK

@amoeba Đây là một gợi ý của Hoerl và Kennard, những người đã giới thiệu hồi quy sườn núi vào những năm 1970. Dựa trên kinh nghiệm của họ - và của tôi - các hệ số sẽ ổn định trong khoảng đó ngay cả với mức độ đa hình cực đoan. Tất nhiên, đây là một chiến lược theo kinh nghiệm và vì vậy nó không được đảm bảo để hoạt động mọi lúc.

— JohnK

Bạn cũng có thể thực hiện phương pháp quan sát giả và lấy các ước tính không có gì phức tạp hơn một chương trình hồi quy bình phương nhỏ nhất. Bạn cũng có thể nghiên cứu ảnh hưởng của việc thay đổi

trong một thời trang tương tự.

λ

$\lambda$

— Glen_b -Reinstate Monica

@amoeba Đúng là sườn núi không phải là bất biến tỷ lệ, đó là lý do tại sao việc chuẩn hóa dữ liệu trước đó là thông lệ. Tôi đã bao gồm các tài liệu tham khảo có liên quan trong trường hợp bạn muốn xem qua. Chúng vô cùng thú vị và không quá kỹ thuật.

— JohnK

@JohnK trong hồi quy sườn núi hiệu ứng co lại mỗi

bằng một số tiền khác nhau, do đó co phải là không đổi mặc dù chỉ có một tham số co rút

β

$\beta$

λ

$\lambda$

— Frank Harrell

Cuốn sách của tôi Regression Modeling Chiến lược đào sâu vào việc sử dụng hiệu quả AIC cho việc lựa chọn . Điều này xuất phát từ khả năng log phạt và mức độ hiệu quả của tự do, sau này trở thành một chức năng của bao nhiêu chênh lệch của được giảm bằng cách xử phạt. Một bài trình bày về điều này là ở đây . R gói phát hiện tối ưu hóa hiệu quả AIC, và cũng cho phép nhiều tham số hình phạt (ví dụ, một cho tác dụng chính tuyến tính, một cho các hiệu ứng phi tuyến chính, một cho hiệu ứng tương tác tuyến tính, và một cho các hiệu ứng tương tác phi tuyến). $\lambda$ $\hat{\beta}$ rmspentrace $\lambda$

— Frank Mitchell
nguồn

+1. Bạn nghĩ gì về việc sử dụng lỗi CV rời khỏi, được tính toán thông qua công thức rõ ràng (nghĩa là không thực sự thực hiện CV), để chọn

? Bạn có ý tưởng nào về cách nó trong thực tế so sánh với "AIC hiệu quả" không?

λ

$\lambda$

— amip nói rằng Phục hồi lại

Tôi đã không nghiên cứu điều đó. LOOCV mất rất nhiều tính toán.

— Frank Harrell

Không, nếu công thức rõ ràng được sử dụng: stats.stackexchange.com/questions/32542 .

— amip nói rằng Phục hồi lại

Công thức đó hoạt động cho trường hợp đặc biệt của OLS, không phải cho khả năng tối đa nói chung. Nhưng có một công thức gần đúng bằng cách sử dụng số điểm dư. Tôi nhận ra rằng chúng ta chủ yếu nói về OLS trong cuộc thảo luận này.

— Frank Harrell

Tôi không làm điều đó một cách phân tích, mà là bằng số. Tôi thường vẽ RMSE so với như vậy:

Hình 1. RMSE và hằng số λ hoặc alpha.

— Lennart
nguồn

Điều này có nghĩa là bạn sửa một giá trị nhất định của

λ

$\lambda$ và sau đó phân biệt biểu thức để tìm

β_{j}

$\beta_j$ Sau đó, bạn tính toán RMSE và thực hiện lại quy trình cho các giá trị mới của

λ

$\lambda$ ?

— Minaj