Sự khác biệt giữa hồi quy Primal, Dual và Kernel Ridge

Sự khác biệt giữa hồi quy Primal , Dual và Kernel Ridge là gì? Mọi người đang sử dụng cả ba và vì ký hiệu khác nhau mà mọi người sử dụng ở các nguồn khác nhau rất khó để tôi theo dõi.

Vì vậy, ai đó có thể nói với tôi bằng những từ đơn giản, sự khác biệt giữa ba là gì? Ngoài ra những gì có thể là một số lợi thế hoặc bất lợi của mỗi, và những gì có thể là phức tạp của họ?

Câu trả lời ngắn: không có sự khác biệt giữa Primal và Dual - đó chỉ là về cách đi đến giải pháp. Hồi quy sườn hạt nhân về cơ bản giống như hồi quy sườn núi thông thường, nhưng sử dụng thủ thuật kernel để đi phi tuyến tính.

Hồi quy tuyến tính

Trước hết, một hồi quy tuyến tính tối thiểu thông thường cố gắng khớp một đường thẳng với tập hợp các điểm dữ liệu theo cách sao cho tổng các lỗi bình phương là tối thiểu.

Chúng tôi tham số dòng phù hợp nhất với $\mathbb w$ và với mỗi điểm dữ liệu $(\mathbf x_i, y_i)$ chúng tôi muốn $\mathbf w^T \mathbf x_i \approx y_i$ . Đặt $e_i = y_i - \mathbf w^T \mathbf x_i$ là lỗi - khoảng cách giữa giá trị dự đoán và giá trị thực. Vì vậy, mục tiêu của chúng tôi là để giảm thiểu tổng của bình phương lỗi $\sum e_i^2 = \| \mathbf e \|^2 = \| X \mathbf w - \mathbf y \|^2$trong đó $X = \begin{bmatrix} — \mathbf x_1 \,— \\ — \mathbf x_2 \,— \\ \vdots \\ — \mathbf x_n \,— \end{bmatrix}$- một ma trận dữ liệu với mỗi$\mathbf x_i$là liên tiếp, và$\mathbf y = (y_1 , \ ... \ , y_n)$một vector với tất cả các$y_i$'s.

Do đó, mục tiêu là $\min\limits_{\mathbf w} \| X \mathbf w - \mathbf y \|^2$ , và giải pháp là$\mathbf w = (X^T X)^{-1} X^T \mathbf y$ (được gọi là "Normal Equation").

Đối với một điểm dữ liệu chưa thấy $\mathbf x$ chúng tôi dự đoán giá trị mục tiêu của nó$\hat y$ như y =wTx.$\hat y = \mathbf w^T \mathbf x$

Hồi quy sườn

Khi có nhiều biến tương quan trong các mô hình hồi quy tuyến tính, các hệ số $\mathbf w$ có thể được xác định kém và có nhiều phương sai. Một trong những giải pháp cho vấn đề này là để hạn chế trọng lượng $\mathbf w$ vì vậy họ không vượt quá một số ngân sách $C$ . Điều này tương đương với việc sử dụng $L_2$ hóa, còn được gọi là "phân rã trọng lượng": nó sẽ làm giảm phương sai với chi phí đôi khi thiếu kết quả chính xác (nghĩa là bằng cách đưa ra một số sai lệch).

Mục tiêu bây giờ trở thành $\min\limits_{\mathbf w} \| X \mathbf w - y \|^2 + \lambda \, \| \mathbf w \|^2$ , với$\lambda$ là tham số quy tắc. Bằng cách đi qua toán học, chúng ta có được những giải pháp sau đây:$\mathbf w = (X^T X + \lambda \, I )^{-1} X^T \mathbf y$ . Nó rất giống với hồi quy tuyến tính thông thường, nhưng ở đây chúng ta thêm$\lambda$ để mỗi phần tử đường chéo của$X^T X$ .

Lưu ý rằng chúng ta có thể viết lại $\mathbf w$ là $\mathbf w = X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$ (xemtại đâyđể biết chi tiết). Đối với một điểm dữ liệu vô hình mới$\mathbf x$ chúng tôi dự đoán giá trị mục tiêu của nó y như$\hat y$$\hat y = \mathbf x^T \mathbf w = \mathbf x^T X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$ . Hãy$\boldsymbol \alpha = (X X^T + \lambda \, I)^{-1} \mathbf y$ . Sau đó, y = x T X T α = n Σ$\hat y = \mathbf x^T X^T \boldsymbol \alpha = \sum\limits_{i=1}^{n} \alpha_i \cdot \mathbf x^T \mathbf x_i$.

Hình thức kép Regression

Chúng ta có thể có một cái nhìn khác về mục tiêu của mình - và xác định vấn đề chương trình bậc hai sau:

$\min\limits_{\mathbf e, \mathbf w} \sum\limits_{i = 1}^n e_i^2$ st$e_i = y_i - \mathbf w^T \mathbf x_i$ cho$i = 1 \, .. \, n$ và$\| \mathbf w \|^2 \leqslant C$ .

Đó là cùng một mục tiêu, nhưng được thể hiện hơi khác nhau, và ở đây ràng buộc về kích thước của $\mathbf w$ là rõ ràng. Để giải quyết nó, chúng tôi định nghĩa Lagrangian $\mathcal L_p(\mathbf w, \mathbf e ; C)$ - đây là dạng nguyên tố có chứa các biến số nguyên tố $\mathbf w$ và $\mathbf e$ . Sau đó, chúng tôi tối ưu hóa nó wrt $\mathbf e$ và $\mathbf w$ . Để có được công thức kép, chúng tôi đã tìm thấy $\mathbf e$ và $\mathbf w$ trở lại $\mathcal L_p(\mathbf w, \mathbf e ; C)$ .

Vì vậy, $\mathcal L_p(\mathbf w, \mathbf e ; C) = \| \mathbf e \|^2 + \boldsymbol \beta^T (\mathbf y - X \mathbf w - \mathbf e) - \lambda \, (\| \mathbf w \|^2 - C)$ . Bằng cách lấy dẫn xuất wrt$\mathbf w$ và $\mathbf e$ , ta thu được$\mathbf e = \cfrac{1}{2} \boldsymbol \beta$và$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta$. Bằng cách cho$\boldsymbol \alpha = \cfrac{1}{2 \lambda} \boldsymbol \beta$, và đưa$\mathbf e$và$\mathbf w$trở lại$\mathcal L_p(\mathbf w, \mathbf e ; C)$, chúng tôi nhận kép Lagrange$\mathcal L_d(\boldsymbol \alpha, \lambda; C) = -\lambda^2 \| \boldsymbol \alpha \|^2 + 2 \lambda \, \boldsymbol \alpha^T y - \lambda \| X^T \boldsymbol \alpha \| - \lambda C$ . Nếu chúng ta lấy một wrt phái sinh$\boldsymbol \alpha$ , chúng tôi get$\boldsymbol \alpha = (XX^T - \lambda I)^{-1} \mathbf y$ - câu trả lời tương tự như đối với hồi quy Kernel Ridge bình thường. Không cần phải có một văn bản phái sinh$\lambda$ - nó phụ thuộc vào$C$ , đó là một tham số quy tắc - và nó làm cho$\lambda$ tham số quy tắc là tốt.

Tiếp theo, đặt $\boldsymbol \alpha$ vào giải pháp dạng nguyên thủy cho $\mathbf w$ và nhận $\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta = X^T \boldsymbol \alpha$. Do đó, dạng kép cho cùng một giải pháp như Hồi quy Ridge thông thường và đó chỉ là một cách khác để đi đến cùng một giải pháp.

Hồi quy hạt nhân

Hạt nhân được sử dụng để tính toán sản phẩm bên trong của hai vectơ trong một số không gian đặc trưng mà không cần truy cập nó. Chúng ta có thể xem một hạt nhân $k$ như $k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$ , mặc dù chúng tôi không biết những gì $\phi(\cdot)$ là - chúng ta chỉ biết nó tồn tại. Có nhiều hạt nhân, ví dụ RBF, Polynonial, v.v.

Chúng ta có thể sử dụng hạt nhân để làm cho Regression Ridge không tuyến tính. Giả sử chúng ta có một hạt nhân $k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$ . Hãy $\Phi(X)$ là một ma trận mà mỗi hàng là $\phi(\mathbf x_i)$ , tức là $\Phi(X) = \begin{bmatrix} — \phi(\mathbf x_1) \,— \\ — \phi(\mathbf x_2) \,— \\ \vdots \\ — \phi(\mathbf x_n) \,— \end{bmatrix}$

Bây giờ chúng ta chỉ có thể lấy giải pháp cho Ridge Regression và thay thế mỗi $X$ với $\Phi(X)$ : $\mathbf w = \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$ . Đối với một điểm dữ liệu vô hình mới$\mathbf x$ chúng tôi dự đoán giá trị mục tiêu của nó y như y = φ ( x ) T Φ ( X ) T$\hat y$$\hat y= \mathbf \phi(\mathbf x)^T \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$ .

Đầu tiên, chúng ta có thể thay thế $\Phi(X) \Phi(X)^T$ bởi một ma trận $K$ , được tính như $(K)_{ij} = k(\mathbf x_i, \mathbf x_j)$ . Sau đó, $\phi(\mathbf x)^T \Phi(X)^T$ là $\sum\limits_{i = 1}^n \phi(\mathbf x)^T \phi(\mathbf x_i) = \sum\limits_{i = 1}^n k(\mathbf x, \mathbf x_j)$. Vì vậy, ở đây chúng tôi quản lý để thể hiện mỗi sản phẩm chấm của vấn đề về hạt nhân.

Cuối cùng, bằng cách cho phép $\boldsymbol \alpha = (K + \lambda \, I)^{-1} \mathbf y$ (như trước đây), chúng tôi có được y = n Σ i = 1 α i k ( x , x j )$\hat y= \sum\limits_{i = 1}^n \alpha_i k(\mathbf x, \mathbf x_j)$

Người giới thiệu

• Lớp học máy tôi tại TU Berlin
• Các yếu tố của học thống kê, http://statweb.stanford.edu/~tibs/ElemStatLearn/
• http://0agr.ru/wiki/index.php/N normal_Equation
• http://stat.wikia.com/wiki/Kernel_Ridge_Regression
• http://stat.rutgers.edu/home/tzhang/ con / ml02_dual.pdf
• http://www.ics.uci.edu/~welling/ classnotes / con_group / kernel-Pepper.pdf
• http://www.cs.nyu.edu/~mohri/mls/lecture_8.pdf