Hiệu quả hồi quy hạt nhân

Ridge Regression có thể được thể hiện dưới dạng nơi được nhãn dự đoán, các xác định ma trận, đối tượng chúng ta đang cố gắng tìm một nhãn cho, và là ma trận của đối tượng

\hat{y} = (X^{'} X + a I_{d})^{- 1} X x

$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$

\hat{y}

$\hat{y}$

I_{d}

$\mathbf{I}_d$

d \times d

$d \times d$

x

$\mathbf{x}$

X

$\mathbf{X}$

n \times d

$n \times d$

n

$n$

sao cho:

x_{i} = (x_{i, 1}, . . ., x_{i, d}) \in R^{d}

$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

X = (\begin{matrix} x_{1, 1} & x_{1, 2} & \dots & x_{1, d} \\ x_{2, 1} & x_{2, 2} & \dots & x_{2, d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n, 1} & x_{1, 2} & \dots & x_{n, d} \end{matrix})

$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$

Chúng ta có thể kernelise này như

\hat{y} = (K + a I_{d})^{- 1} k

$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$

nơi là ma trận của các chức năng hạt nhân $\mathbf{\mathcal{K}}$ $n \times n$ $K$

K = (\begin{matrix} K (x_{1}, x_{1}) & K (x_{1}, x_{2}) & \dots & K (x_{1}, x_{n}) \\ K (x_{2}, x_{1}) & K (x_{2}, x_{2}) & \dots & K (x_{2}, x_{n}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ K (x_{n}, x_{1}) & K (x_{n}, x_{2}) & \dots & K (x_{n}, x_{n}) \end{matrix})

$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$

và các vector cột chức năng hạt nhân $\mathbf{k}$ $n \times 1$ $K$

k = (\begin{matrix} K (x_{1}, x) \\ K (x_{2}, x) \\ ⋮ \\ K (x_{n}, x) \end{matrix})

$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$

Câu hỏi:

(a) nếu có nhiều đối tượng hơn kích thước thì có nghĩa là không sử dụng hạt nhân không? Ví dụ chúng ta hãy là một ma trận sau đó sẽ là một và chúng tôi sẽ kết thúc đảo ngược một ma trận thay vì ma trận chúng ta sẽ phải nghịch đã được chúng tôi sử dụng hạt nhân. Điều này có nghĩa rằng nếu chúng ta không nên sử dụng hạt nhân? $\mathbf{x}_i$ $\mathbf{X}$ $50 \times 3$ $\mathbf{X}'\mathbf{X}$ $3 \times 3$ $3 \times 3$ $50 \times 50$ $d \leq n$

(b) hạt nhân đơn giản nhất có thể được sử dụng? Dường như các hạt nhân trong hồi quy sườn được sử dụng để phủ nhận các ảnh hưởng của chiều và không sử dụng các thuộc tính nhất định của không gian tính năng (không giống như các máy vectơ hỗ trợ). Mặc dù, hạt nhân có thể thay đổi khoảng cách giữa các vật thể, vậy có loại hạt nhân phổ biến nào được sử dụng trong hồi quy sườn không?

regression ridge-regression kernel-trick

— Helix
nguồn

"Hiệu quả" có một ý nghĩa khác trong thống kê. Ý bạn là 'độ phức tạp tính toán'? (trong tiêu đề)

— Ghi nhớ

Tôi có nghĩa là "hiệu quả thuật toán". Mặc dù sự thật là các câu hỏi của tôi về cơ bản làm giảm điều này thành "độ phức tạp tính toán".

— Helix

$K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$ và thực hiện hồi quy sườn hạt nhân trong không gian kép cũng giống như giải quyết vấn đề trong không gian nguyên thủy, nghĩa là, nó không mang lại bất kỳ lợi thế nào (nó chỉ là nhiều chậm hơn khi số lượng mẫu phát triển như bạn quan sát).

$K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$

$n$ $O(n^3)$

Người giới thiệu:

Bharath Sriperumbudur, Kenji Fukumizu và Gert Lanckriet. Về mối quan hệ giữa tính phổ quát, hạt nhân đặc trưng và RKHS nhúng các biện pháp. Tạp chí nghiên cứu máy học, 9: 773 trận780, 2010.
Bernhard Schlkopf, Alexander J. Smola. Học với Kernels: Hỗ trợ Máy Vector, Chính quy, Tối ưu hóa và Ngoài 2002

— Ghi nhớ
nguồn