Hồi quy tuyến tính so với RKHS-hồi quy

Tôi đang nghiên cứu sự khác biệt giữa chính quy trong hồi quy RKHS và hồi quy tuyến tính, nhưng tôi gặp khó khăn trong việc nắm bắt sự khác biệt quan trọng giữa hai phương pháp này.

$(x_i,y_i)$$f(\cdot)$

$$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$$ $K(\cdot,\cdot)$$\alpha_m$ $$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$$ $i,j$$K$${\displaystyle K(x_{i},x_{j})}$ $$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$$ $$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$$ $$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$$

Điều gì sẽ là sự khác biệt quan trọng giữa hai phương pháp này và giải pháp của họ?

Như bạn có thể nhận thấy khi viết ra các vấn đề tối ưu hóa, sự khác biệt duy nhất trong việc giảm thiểu là tiêu chuẩn mà Hilbert sử dụng để xử phạt. Nghĩa là, để định lượng giá trị 'lớn' của là gì cho mục đích xử phạt. Trong cài đặt RKHS, chúng tôi sử dụng sản phẩm bên trong RKHS, , trong khi hồi quy sườn núi bị phạt theo tiêu chuẩn Euclide.$\alpha$$\alpha^tK\alpha$

Một hệ quả lý thuyết thú vị là làm thế nào mỗi phương pháp hiệu ứng quang phổ của tái tạo hạt nhân . Theo lý thuyết RKHS, chúng ta có là xác định dương đối xứng. Theo định lý phổ, chúng ta có thể viết trong đó là ma trận đường chéo của giá trị riêng và là ma trận trực giao của các hàm riêng. Do đó, trong cài đặt RKHS, started Trong khi đó, trong cài đặt hồi quy Ridge, lưu ý rằng theo đối xứng, $K$$K$$K = U^tDU$$D$$U$

$$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$$ $K^tK=K^2$ $$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$$ Đặt phổ của là . Trong hồi quy RKHS, các giá trị riêng được ổn định bởi . Trong hồi quy Ridge, chúng ta có . Do đó, RKHS điều chỉnh đồng nhất các giá trị riêng trong khi Ridge thêm giá trị lớn hơn nếu tương ứng nhỏ hơn.$K$$\nu_1,\ldots,\nu_n$$\nu_i\rightarrow\nu_i+\lambda n$$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$$\nu_i$

Tùy thuộc vào sự lựa chọn hạt nhân, hai ước tính cho có thể gần hoặc xa nhau. Khoảng cách theo nghĩa định mức toán tử sẽ là Tuy nhiên, điều này vẫn bị giới hạn cho một cho$\alpha$

$$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$$ $Y$, vì vậy hai công cụ ước tính của bạn không thể cách xa nhau một cách tùy tiện. Do đó, nếu hạt nhân của bạn gần với danh tính, thì hầu như sẽ có rất ít sự khác biệt trong các cách tiếp cận. Nếu hạt nhân của bạn rất khác nhau, hai cách tiếp cận vẫn có thể dẫn đến kết quả tương tự.

Trong thực tế, thật khó để nói dứt khoát nếu cái này tốt hơn cái kia cho một tình huống nhất định. Vì chúng tôi đang giảm thiểu liên quan đến lỗi bình phương khi biểu diễn dữ liệu theo hàm kernel, chúng tôi thực sự chọn một đường cong hồi quy tốt nhất từ ​​không gian hàm Hilbert tương ứng. Do đó, xử phạt đối với sản phẩm bên trong RKHS dường như là cách tự nhiên để tiến hành.