Làm thế nào để rút ra giải pháp hồi quy sườn núi?

40

Tôi đang có một số vấn đề với việc tạo ra giải pháp cho hồi quy sườn núi.

Tôi biết giải pháp hồi quy mà không có thuật ngữ chính quy:

β = (X^{T} X)^{- 1} X^{T} y .

$\beta = (X^TX)^{-1}X^Ty.$

$\lambda\|\beta\|_2^2$

β = (X^{T} X + λ I)^{- 1} X^{T} y .

$\beta = (X^TX + \lambda I)^{-1}X^Ty.$

— người dùng34790
nguồn

23

Nó đủ để sửa đổi chức năng mất bằng cách thêm hình phạt. Theo thuật ngữ ma trận, hàm mất bậc hai ban đầu trở thành

(Y - X β)^{T} (Y - X β) + λ β^{T} β .

$(Y - X\beta)^{T}(Y-X\beta) + \lambda \beta^T\beta.$ Xuất phát liên quan đến

β

$\beta$ dẫn đến phương trình bình thường

X^{T} Y = (X^{T} X + λ I) β

$X^{T}Y = \left(X^{T}X + \lambda I\right)\beta$ dẫn đến công cụ ước tính Ridge.

— johnny
nguồn

1

Làm thế nào mà đạo hàm của

λ β^{T} β

$\lambda \beta^T \beta$ bằng với

λ I β

$\lambda I \beta$

— user34790

4

@ user34790 Không phải vậy. Nó bằng

2 λ β

$2\lambda\beta$ . Nhưng 2 hủy bỏ với 2s tương tự trên các điều khoản khác. Tất nhiên, yếu tố

I

$I$ giống như hệ số 1 trong đại số "thông thường", bạn có thể nhân nó ở bất cứ đâu bạn muốn mà không thay đổi bất cứ điều gì.

— Hóa đơn

4

@bill: ở đây bạn cần để có một ma trận có kích thước chính xác để phép cộng hoạt động với : chỉ là một vô hướng

I

$I$

X^{T} X

$X^TX$

λ

$\lambda$

— Henry

47

Hãy xây dựng dựa trên những gì chúng ta biết, đó là bất cứ khi nào ma trận mô hình là , thì -vector phản hồi là và tham số -vector là , hàm mục tiêu $n\times p$ $X$ $n$ $y$ $p$ $\beta$

f (β) = (y - X β)^{'} (y - X β)

$f(\beta) = (y - X\beta)^\prime(y - X\beta)$

(là tổng bình phương của phần dư) được thu nhỏ khi giải các phương trình Bình thường $\beta$

(X^{'} X) β = X^{'} y .

$(X^\prime X)\beta = X^\prime y.$

Hồi quy độ dốc thêm một thuật ngữ khác vào hàm mục tiêu (thường là sau khi chuẩn hóa tất cả các biến để đặt chúng trên một nền tảng chung), yêu cầu giảm thiểu

(y - X β)^{'} (y - X β) + λ β^{'} β

$(y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta$

đối với một số hằng số không âm . Nó là tổng bình phương của phần dư cộng với bội số tổng bình phương của các hệ số (làm cho nó rõ ràng rằng nó có mức tối thiểu toàn cầu). Vì , nó có căn bậc hai dương . $\lambda$ $\lambda\ge 0$ $\nu^2 = \lambda$

Hãy xem xét các ma trận tăng cường với hàng tương ứng với lần so với ma trận sắc : $X$ $\nu$ $p\times p$ $I$

X_{*} = (\begin{matrix} X \\ ν I \end{matrix})

$X_{*} = \pmatrix{X \\ \nu I}$

Khi vector là tương tự như mở rộng với số không vào cuối để , sản phẩm ma trận trong hàm mục tiêu bổ sung điều khoản bổ sung có dạng đến mục tiêu ban đầu. vì thế $y$ $p$ $y_{*}$ $p$ $(0 - \nu \beta_i)^2 = \lambda \beta_i^2$

(y_{*} - X_{*} β)^{'} (y_{*} - X_{*} β) = (y - X β)^{'} (y - X β) + λ β^{'} β .

$(y_{*} - X_{*}\beta)^\prime(y_{*} - X_{*}\beta) = (y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta.$

Từ dạng biểu thức tay trái, ngay lập tức các phương trình Bình thường là

(X_{*}^{'} X_{*}) β = X_{*}^{'} y_{*} .

$(X_{*}^\prime X_{*})\beta = X_{*}^\prime y_{*}.$

Vì chúng ta nối các số 0 ở cuối , phía bên tay phải giống với . Ở phía bên trái được thêm vào ban đầu . Do đó các phương trình Bình thường mới đơn giản hóa thành $y$ $X^\prime y$ $\nu^2 I=\lambda I$ $X^\prime X$

(X^{'} X + λ I) β = X^{'} y .

$(X^\prime X + \lambda I)\beta = X^\prime y.$

Bên cạnh đó là về mặt kinh tế về mặt khái niệm - không cần các thao tác mới để có được kết quả này - nó cũng có tính kinh tế về mặt tính toán: phần mềm của bạn để thực hiện bình phương tối thiểu thông thường cũng sẽ thực hiện hồi quy sườn mà không có bất kỳ thay đổi nào. (Tuy nhiên, có thể hữu ích trong các vấn đề lớn khi sử dụng phần mềm được thiết kế cho mục đích này, vì nó sẽ khai thác cấu trúc đặc biệt của để thu được kết quả một cách hiệu quả trong khoảng thời gian dày đặc của , cho phép bạn khám phá cách các câu trả lời khác nhau với .) $X_{*}$ $\lambda$ $\lambda$

Một vẻ đẹp khác của cách nhìn này là cách nó có thể giúp chúng ta hiểu hồi quy sườn núi. Khi chúng ta muốn thực sự hiểu hồi quy, hầu như luôn luôn nghĩ về nó về mặt hình học: các cột của tạo thành các vectơ trong một không gian vectơ thực có kích thước . Bằng cách nối với , do đó kéo dài chúng từ -vector thành -vector, chúng tôi đang nhúng vào một không gian lớn hơn bằng cách bao gồm "Tưởng tượng", hướng trực giao lẫn nhau. Cột đầu tiên của $X$ $p$ $n$ $\nu I$ $X$ $n$ $n+p$ $\mathbb{R}^n$ $\mathbb{R}^{n+p}$ $p$ $X$ được cung cấp một thành phần tưởng tượng nhỏ có kích thước , do đó kéo dài nó và di chuyển nó ra khỏi không gian được tạo bởi các cột ban đầu . Các cột thứ hai, thứ ba, ..., được kéo dài tương tự và di chuyển ra khỏi không gian ban đầu với cùng một lượng - nhưng tất cả theo các hướng mới khác nhau. Do đó, bất kỳ sự cộng tác nào có trong các cột ban đầu sẽ ngay lập tức được giải quyết. Hơn nữa, càng lớn, các vectơ mới này càng tiếp cận với từng $\nu$ $p$ $p^\text{th}$ $\nu$ $\nu$ $p$ hướng tưởng tượng: chúng ngày càng trở nên trực giao hơn. Do đó, giải pháp của các phương trình Bình thường sẽ ngay lập tức trở nên khả thi và nó sẽ nhanh chóng ổn định về mặt số khi tăng từ . $\nu$ $0$

Mô tả về quy trình này cho thấy một số phương pháp tiếp cận mới lạ và sáng tạo để giải quyết các vấn đề mà Regression Ridge được thiết kế để xử lý. Ví dụ, bằng cách sử dụng bất kỳ phương tiện nào (chẳng hạn như phân rã phương sai được mô tả bởi Belsley, Kuh và Welsch trong cuốn sách năm 1980 về Chẩn đoán hồi quy , Chương 3), bạn có thể xác định các nhóm con của các cột gần như của , trong đó mỗi nhóm phụ gần như trực giao với bất kỳ khác. Bạn chỉ cần nối nhiều hàng với (và số 0 cho ) vì có các phần tử trong nhóm lớn nhất, dành một thứ nguyên "tưởng tượng" mới để di chuyển từng phần tử của một nhóm ra khỏi anh chị em của nó: bạn không cần tưởng tượng kích thước để làm điều này. $X$ $X$ $y$ $p$

— whuber
nguồn

2

Tác giả cuối cùng của cuốn sách là Welsch, không phải người xứ Wales.

— Mark L. Stone

1

Whoa, điều này chỉ thổi vào tâm trí của tôi. Có cuộc thảo luận nào về những gì xảy ra khi điều này được khái quát bên ngoài các mô hình tuyến tính, tức là với glm không? Hình phạt không nên xếp hàng giống như hồi quy sườn núi ... nhưng cách giải thích này ngụ ý rằng nó vẫn sẽ là một công cụ ước tính hữu ích tiềm năng!

— Vách đá AB

2

@Cliff Đó là một gợi ý rất thú vị. Tuy nhiên, vì các ước tính GLM phụ thuộc một cách phức tạp hơn vào và các ước tính của chúng thường không thể được xác định ở dạng vì chúng dành cho OLS (trong đó và ), nó có thể khó khăn để thiết lập một mối quan hệ hữu ích giữa áp đặt một chức năng phạt và sửa đổi các cột của . Cụ thể, không rõ các giá trị trong sẽ cần được tăng cường như thế nào để thực hiện công việc này.

X

$X$

\hat{β} = g (X) \cdot h (y)

$\hat\beta = g(X)\cdot h(y)$

g (X) = (X^{'} X)^{- 1} X^{'}

$g(X)=(X^\prime X)^{-1}X^\prime$

h (y) = y

$h(y)=y$

X

$X$

y

$y$

— whuber

1

Vâng, sẽ có một số suy nghĩ để cố gắng thiết lập hình phạt là gì, nhưng tôi không quá quan tâm đến điều đó. Ý tưởng về những gì sử dụng thường không dễ dàng ... ngoại trừ trong trường hợp hồi quy logistic, trong đó chúng ta có thể thêm hai 's; một trong 0 và một trong 1. Sự gia tăng này sau đó sẽ là một phiên bản tổng quát hơn của "công cụ ước tính nhị thức +2" (có một tên thích hợp hơn cho công cụ ước tính này mà tôi đang bỏ trống, về cơ bản là khi bạn ước tính từ phân phối nhị thức bằng cách sử dụng nghĩa sau ước tính với một đồng phục trước trên ).

y_{*}

$y_*$

y_{*}

$y_*$

p

$p$

p

$p$

— Vách đá AB

@Mark Cảm ơn bạn đã sửa chữa. Bạn có thể nói tôi đã đi từ bộ nhớ ... :-).

— whuber

20

Đạo hàm bao gồm phép tính ma trận, có thể khá tẻ nhạt. Chúng tôi muốn giải quyết vấn đề sau:

min_{β} (Y - β^{T} X)^{T} (Y - β^{T} X) + λ β^{T} β

$\begin{equation} \min_\beta (Y-\beta^T X)^T(Y-\beta^T X)+\lambda \beta^T \beta \end{equation}$

Bây giờ lưu ý rằng và Cùng nhau chúng ta có được điều kiện đặt hàng đầu tiên Cô lập mang lại giải pháp:

\frac{\partial (Y - β^{T} X)^{T} (Y - β^{T} X)}{\partial β} = - 2 X^{T} (Y - β^{T} X)

$\begin{equation} \frac{\partial (Y-\beta^T X)^T (Y-\beta^T X)}{\partial \beta}=-2X^T(Y-\beta^T X) \end{equation}$

\frac{\partial λ β^{T} β}{\partial β} = 2 λ β .

$\begin{equation} \frac{\partial \lambda \beta^T \beta}{\partial \beta}=2\lambda\beta. \end{equation}$

X^{T} Y = X^{T} X β + λ β .

$\begin{equation} X^TY = X^TX\beta + \lambda\beta. \end{equation}$

β

$\beta$

β = (X^{T} X + λ I)^{- 1} X^{T} Y .

$\begin{equation} \beta = (X^TX+ \lambda I )^{-1}X^T Y. \end{equation}$

— pthesling
nguồn

9

Gần đây tôi đã vấp phải câu hỏi tương tự trong bối cảnh của P-Splines và vì khái niệm này giống nhau nên tôi muốn đưa ra một câu trả lời chi tiết hơn về đạo hàm của công cụ ước tính sườn núi.

Chúng tôi bắt đầu với một chức năng tiêu chí bị phạt khác với chức năng tiêu chí OLS cổ điển bởi thời hạn xử phạt của nó trong bản tóm tắt cuối cùng:

$Criterion_{Ridge} = \sum_{i=1}^{n}(y_i-x_i^T\beta)^2 + \lambda \sum_{j=1}^p\beta_j^2$

Ở đâu

$p=$ lượng biến số được sử dụng trong mô hình
$x_i^T\beta =$ dự đoán tuyến tính tiêu chuẩn của bạn
triệu tập đầu tiên phản ánh MSE (phân kỳ bình phương của dự đoán từ giá trị thực) mà chúng tôi muốn giảm thiểu như bình thường
triệu tập thứ hai thể hiện hình phạt mà chúng tôi áp dụng trên các hệ số. Ở đây chúng ta đang ở trong bối cảnh Sườn núi ngụ ý Đo khoảng cách Euclidian và do đó mức độ 2 trong thời hạn xử phạt. Trong trường hợp của Lasso-Penalization, chúng tôi sẽ áp dụng mức 1 và mang lại một công cụ ước tính hoàn toàn khác.

Chúng ta có thể viết lại tiêu chí này trong ký hiệu ma trận và tiếp tục phá vỡ nó:

$Criterion_{Ridge} = (y-X\beta)^T(y-X\beta) + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - y^TX\beta+ \beta^Tx^TX\beta + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - \beta^TX^Ty + \beta^TX^TX\beta + \beta^T\lambda I\beta$ với là ma trận danh tính $I$

$= y^Ty - 2\beta^TX^Ty + \beta^T(X^TX + \lambda I)\beta$

Bây giờ chúng tôi tìm kiếm giúp giảm thiểu tiêu chí của chúng tôi. Trong số những người khác, chúng tôi sử dụng quy tắc phân biệt ma trận mà chúng ta có thể áp dụng ở đây dưới dạng : $\beta$ $\frac{\partial x^TAx}{\partial x} = (A+A^T)x \overset{\text{A symmetric}}{=} 2Ax$ $(X^TX + \lambda I) \in \mathbb{R}^{n \times n}$

$\frac{\partial Criterion_{Ridge} }{\partial\beta} = -2X^Ty + 2(X^TX + \lambda I)\beta \overset{!}{=}0$

$(X^TX + \lambda I)\beta = X^Ty$

$\overset{\text{et voilà}}{\Rightarrow} \hat\beta = (X^TX + \lambda I)^{-1} X^Ty$

— Jann Goschenhofer
nguồn

@Jahn, bạn có thể giải thích làm thế nào trở thành không? Tôi nghĩ rằng bạn chỉ cần áp dụng chuyển đổi trên nó, phải. Nhưng, bạn không thể chỉ áp dụng chuyển vị trên một thuật ngữ mà không áp dụng nó trên tất cả các phương trình. Tôi đang thiếu gì ở đây?

y^{T} X β

$y^TX\beta$

β^{T} X^{T} y

$\beta ^TX^Ty$

— soạn thảo

1

@theateist Một vô hướng hoán vị là cùng một vô hướng.

— Konstantin

2

Có một vài điều quan trọng còn thiếu trong các câu trả lời được đưa ra.

Giải pháp cho bắt nguồn từ điều kiện cần thiết thứ nhất: mang lại . Nhưng điều này đã đủ chưa? Nghĩa là, giải pháp chỉ ở mức tối thiểu toàn cầu nếu hoàn toàn lồi. Điều này có thể được hiển thị là đúng. $\beta$ $\frac{\partial f_{ridge}(\beta, \lambda)}{\partial \beta} = 0$ $\beta = (X^TX+ \lambda I )^{-1}X^T Y$ $f_{ridge}(\beta, \lambda)$
Một cách khác để xem xét vấn đề là xem sự tương đương giữa và bị ràng buộc với . OLS là viết tắt của bình phương tối thiểu bình thường. Từ phối cảnh này, chỉ là hàm Lagrangian được sử dụng để tìm cực tiểu toàn cầu của hàm mục tiêu lồi bị ràng buộc với hàm lồi . $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta) = (Y-\beta^T X)^T(Y-\beta^T X)$ $||\beta||^2_2 \leq t$ $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta)$ $||\beta||^2_2$

Một lời giải thích tốt về những điểm này và dẫn xuất của có thể được tìm thấy trong các ghi chú bài giảng hay này: http://math.bu.edu/people/cgineste/ classes / ma575 / p / w14_1.pdf $\beta$

— Thưởng thức Josipovic
nguồn