Áp dụng hồi quy sườn cho một hệ phương trình chưa xác định?

Khi , bài toán bình phương nhỏ nhất áp dụng giới hạn hình cầu trên giá trị của có thể được viết là cho một hệ thống quá hạn. \ | \ cdot \ | _2 là chỉ tiêu Euclide của một vectơ.$y = X\beta + e$$\delta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$$ $\|\cdot\|_2$

Giải pháp tương ứng cho $\beta$ được đưa ra bởi

$$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$$ có thể bắt nguồn từ phương pháp số nhân Lagrange ( $\lambda$ là số nhân): $$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$$

Tôi hiểu rằng có một thuộc tính

$$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$$ Phía bên tay phải giống như nghịch đảo giả của ma trận hồi quy $X$ trong trường hợp không xác định (với tham số chính quy được thêm vào, $\lambda$ ). Điều này có nghĩa là có thể sử dụng cùng một biểu thức để xấp xỉ $\beta$ cho trường hợp không xác định? Có một dẫn xuất riêng cho biểu thức tương ứng trong trường hợp không xác định trước, vì ràng buộc hạn chế hình cầu là dư thừa với hàm mục tiêu (định mức tối thiểu của $\beta$ ):

$$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$$

Bắt đầu với việc xây dựng bài toán hồi quy sườn núi như

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

bạn có thể viết vấn đề như

$\min \| A\beta - b \|_{2}^{2}$

Ở đâu

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

và

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

Ma trận có cột thứ hạng đầy đủ vì một phần. Do đó, bài toán bình phương nhỏ nhất là một giải pháp duy nhất$A$$\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Viết ra điều này theo và , và đơn giản hóa rất nhiều số 0, chúng tôi nhận được$X$$y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Không có gì trong nguồn gốc này phụ thuộc vào việc có thêm hàng hoặc cột, hoặc thậm chí vào việc có rank đầy đủ. Công thức này do đó được áp dụng cho trường hợp không xác định. $X$$X$

Đó là một thực tế đại số cho ,$\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Do đó, chúng tôi cũng có tùy chọn sử dụng

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Để trả lời các câu hỏi cụ thể của bạn:

1. Có, cả hai công thức làm việc cho trường hợp không xác định cũng như trường hợp được xác định quá mức. Họ cũng làm việc nếu là ít hơn mức tối thiểu của số hàng và cột của . Phiên bản thứ hai có thể hiệu quả hơn đối với các sự cố không xác định do nhỏ hơn trong trường hợp đó. X X X $\mbox{rank}(X)$$X$$XX^{T}$$X^{T}X$

2. Tôi không biết về bất kỳ dẫn xuất nào của phiên bản thay thế của công thức bắt đầu với một số bài toán bình phương nhỏ nhất được làm ẩm khác và sử dụng các phương trình bình thường. Trong mọi trường hợp, bạn có thể rút ra nó theo cách thẳng tiến bằng cách sử dụng một chút đại số.

Có thể bạn đang nghĩ về vấn đề hồi quy sườn núi ở dạng

$\min \| \beta \|_{2}^{2}$

tùy thuộc vào

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Tuy nhiên, phiên bản này của bài toán hồi quy sườn núi chỉ đơn giản dẫn đến cùng một vấn đề bình phương nhỏ nhất được làm ẩm .$\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$