Phương pháp Nystroem cho xấp xỉ hạt nhân

Tôi đã đọc về phương pháp Nyström cho phép ước lượng hạt nhân cấp thấp. Phương pháp này được triển khai trong scikit-learn [1] như một phương pháp để chiếu các mẫu dữ liệu đến một xấp xỉ thứ hạng thấp của ánh xạ tính năng hạt nhân.

Để theo sự hiểu biết của tôi, cho một tập huấn luyện $\{x_i\}_{i=1}^n$ và một hàm kernel, nó tạo ra một xấp xỉ-rank thấp của $n \times n$ hạt nhân ma trận $K$ bằng cách áp dụng SVD để $W$ và $C$ .

$K = \left [ \begin{array}{cc} W & K_{21}^T \\ K_{21} & K_{22} \end{array} \right ]$ $C = \left [\begin{array}{cc} W \\ K_{21} \end{array}\right ]$ , $W \in \mathbb{R}^{l\times l}$

Tuy nhiên, tôi không hiểu làm thế nào xấp xỉ thứ hạng thấp của ma trận Kernel có thể được sử dụng để chiếu các mẫu mới vào không gian tính năng hạt nhân gần đúng . Các giấy tờ tôi đã tìm thấy (ví dụ [2]) không giúp ích nhiều, vì chúng ít mang tính mô phạm.

Ngoài ra, tôi tò mò về độ phức tạp tính toán của phương pháp này, cả trong giai đoạn đào tạo và thử nghiệm.

[1] http://scikit-learn.org/urdy/modules/kernel_approimumation.html#nystroem-kernel-approx

[2] http://www.jmlr.org/ con / volume13 / kumar12a / kumar12a.pdf

— Daniel López
nguồn

Hãy lấy ra xấp xỉ Nyström theo cách làm cho câu trả lời cho câu hỏi của bạn rõ ràng hơn.

Giả định chính trong Nyström là hàm kernel có thứ hạng . (Thực sự chúng tôi cho rằng nó xấp xỉ thứ hạng , nhưng để đơn giản, bây giờ hãy giả vờ nó chính xác là thứ hạng .) Điều đó có nghĩa là bất kỳ ma trận hạt nhân nào cũng sẽ có thứ hạng nhiều nhất là , và đặc biệt là $m$ $m$ $m$ $m$ , hình dạng, và giá trị riêng được sắp xếp theo, mộtma trận đường chéo. là hạng. Do đó cógiá trị riêng khác không, và chúng tôi có thể viết eigendecomposition củalà với vector riêng lưu trữ trong

K = = [\begin{matrix} k (x_{1}, x_{1}) & Giáo dục & k (x_{1}, x_{n}) \\ ⋮ & ⋱ & ⋮ \\ k (x_{n}, x_{1}) & Giáo dục & k (x_{n}, x_{n}) \end{matrix}],

$K = \begin{bmatrix} k(x_1, x_1) & \dots & k(x_1, x_n) \\ \vdots & \ddots & \vdots \\ k(x_n, x_1) & \dots & k(x_n, x_n) \end{bmatrix} ,$

m

$m$

m

$m$

K

$K$

K = = Bạn Λ {Bạn}^{T}

$K = U \Lambda U^T$

U

$U$

n \times m

$n \times m$

Λ

$\Lambda$

m \times m

$m \times m$

Vì vậy, hãy chọn các yếu tố, thường là thống nhất ngẫu nhiên nhưng có thể theo các sơ đồ khác - tất cả những gì quan trọng trong phiên bản đơn giản này là có thứ hạng đầy đủ. Khi chúng tôi thực hiện, chỉ cần dán lại các điểm để chúng tôi kết thúc với ma trận hạt nhân theo các khối: trong đó chúng tôi đánh giá từng mục trong (đó là $m$ $K_{11}$

K = = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{22} \end{matrix}],

$K = \begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{22} \end{bmatrix} ,$

K_{11}

$K_{11}$

m \times m

$m \times m$ ) và

(

K_{21}

$K_{21}$

(n - m) \times m

$(n-m) \times m$ ), nhưng không muốn đánh giá bất kỳ mục nào trong

K_{22}

$K_{22}$

Bây giờ, chúng ta cũng có thể phân tách eigendecro theo cấu trúc khối này: nơilàvàlà. Nhưng lưu ý rằng bây giờ chúng ta có . Vì vậy, chúng ta có thể tìm thấy

\begin{aligned} K & = = Bạn Λ {Bạn}^{T} \\ = = [\begin{matrix} {Bạn}_{1} \\ {Bạn}_{2} \end{matrix}] Λ {[\begin{matrix} {Bạn}_{1} \\ {Bạn}_{2} \end{matrix}]}^{T} \\ = = [\begin{matrix} {Bạn}_{1} Λ {Bạn}_{1}^{T} & {Bạn}_{1} Λ {Bạn}_{2}^{T} \\ {Bạn}_{2} Λ {Bạn}_{1}^{T} & {Bạn}_{2} Λ {Bạn}_{2}^{T} \end{matrix}], \end{aligned}

$\begin{align} K &= U \Lambda U^T \\&= \begin{bmatrix}U_1 \\ U_2\end{bmatrix} \Lambda \begin{bmatrix}U_1 \\ U_2\end{bmatrix}^T \\&= \begin{bmatrix} U_1 \Lambda U_1^T & U_1 \Lambda U_2^T \\ U_2 \Lambda U_1^T & U_2 \Lambda U_2^T \end{bmatrix} ,\end{align}$

U_{1}

$U_1$

m \times m

$m \times m$

U_{2}

$U_2$

(n - m) \times m

$(n-m) \times m$

K_{11} = U_{1} Λ U_{1}^{T}

$K_{11} = U_1 \Lambda U_1^T$

và

bằng cách kết hợp ma trận đã biết

U_{1}

$U_1$

Λ

$\Lambda$

K_{11}

$K_{11}$

Chúng tôi cũng biết rằng . Ở đây, chúng ta biết tất cả mọi thứ trong phương trình này ngoại trừ , vì vậy chúng tôi có thể giải quyết cho những gì giá trị riêng mà ngụ ý: phải nhân cả hai bên bởi để có được $K_{21} = U_2 \Lambda U_1^T$ $U_2$ $(\Lambda U_1^T)^{-1} = U_1 \Lambda^{-1}$

{Bạn}_{2} = = K_{21} {Bạn}_{1} Λ^{- 1} .

$U_2 = K_{21} U_1 \Lambda^{-1} .$ Bây giờ chúng tôi có mọi thứ chúng tôi cần để đánh giá

K_{22}

$K_{22}$

\begin{aligned} K_{22} & = = {Bạn}_{2} Λ {Bạn}_{2}^{T} \\ = = (K_{21} {Bạn}_{1} Λ^{- 1}) Λ {(K_{21} {Bạn}_{1} Λ^{- 1})}^{T} \\ = = K_{21} {Bạn}_{1} (Λ^{- 1} Λ) Λ^{- 1} {Bạn}_{1}^{T} K_{21}^{T} \\ = = K_{21} {Bạn}_{1} Λ^{- 1} {Bạn}_{1}^{T} K_{21}^{T} \\ (*) & = = K_{21} K_{11}^{- 1} K_{21}^{T} \\ (**) & = = (K_{21} K_{11}^{- \frac{1}{2}}) {(K_{21} K_{11}^{- \frac{1}{2}})}^{T} . \end{aligned}

$\begin{align} K_{22} &= U_2 \Lambda U_2^T \\&= \left(K_{21} U_1 \Lambda^{-1}\right) \Lambda \left(K_{21} U_1 \Lambda^{-1}\right)^T \\&= K_{21} U_1 (\Lambda^{-1} \Lambda) \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} U_1 \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} K_{11}^{-1} K_{21}^T \tag{*} \\&= \left( K_{21} K_{11}^{-\frac12} \right) \left( K_{21} K_{11}^{-\frac12} \right)^T \tag{**} .\end{align}$

Trong (*), chúng tôi đã tìm thấy một phiên bản nhúng Nyström mà bạn có thể đã xem đơn giản là định nghĩa. Điều này cho chúng ta biết các giá trị hạt nhân hiệu quả mà chúng ta đang áp dụng cho khối . $K_{22}$

Trong (**), chúng ta thấy rằng ma trận tính năng , đó là hình dạng $K_{21} K_{11}^{-\frac12}$ , tương ứng với các giá trị hạt nhân được liệt kê này. Nếu chúng ta sử dụng $(n-m) \times m$ chođiểm, chúng ta có một tập hợp cácchiều tính năng $K_{11}^{\frac12}$ $m$ $m$

Φ = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] .

$\Phi = \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} .$ Chúng ta có thể chỉ một cách nhanh chóng xác minh rằng

tương ứng với ma trận kernel đúng:

Φ

$\Phi$

\begin{aligned} Φ Φ^{T} & = = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] {[\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}]}^{T} \\ = = [\begin{matrix} K_{11}^{\frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{11}^{\frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \\ K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \end{matrix}] \\ = = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{21} K_{11}^{- 1} K_{21}^{T} \end{matrix}] \\ = = K . \end{aligned}

$\begin{align} \Phi \Phi^T &= \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix}^T \\&=\begin{bmatrix} K_{11}^{\frac12} K_{11}^{\frac12} & K_{11}^{\frac12} K_{11}^{-\frac12} K_{21}^T \\ K_{21} K_{11}^{-\frac12} K_{11}^{\frac12} & K_{21} K_{11}^{-\frac12} K_{11}^{-\frac12} K_{21}^T \end{bmatrix} \\&=\begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{21} K_{11}^{-1} K_{21}^T \end{bmatrix} \\&= K .\end{align}$

$m$ $\Phi$ $K$

$x$ $\Phi$

ϕ (x) = [\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}] K_{11}^{- \frac{1}{2}} .

$\phi(x) = \begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix} K_{11}^{-\frac12} .$

x

$x$

[\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}]

$\begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix}$

K_{21}

$K_{21}$

K_{21} K_{11}^{- \frac{1}{2}}

$K_{21} K_{11}^{-\frac12}$

ϕ (x)

$\phi(x)$

K_{11}

$K_{11}$

K_{11} K_{11}^{- \frac{1}{2}} = K_{11}^{\frac{1}{2}}

$K_{11} K_{11}^{-\frac12} = K_{11}^{\frac12}$

Φ

$\Phi$

x_{new}

$x_\text{new}$

Φ_{test} = K_{test, 1} K_{11}^{- \frac{1}{2}} .

$\Phi_\text{test} = K_{\text{test},1} K_{11}^{-\frac12} .$

m

$m$

[\begin{matrix} K_{train} & K_{train,test} \\ K_{test,train} & K_{test} \end{matrix}]

$\begin{bmatrix}K_{\text{train}} & K_{\text{train,test}} \\ K_{\text{test,train}} & K_{\text{test}} \end{bmatrix}$

m

$m$

K_{test}

$K_\text{test}$

K_{22}

$K_{22}$

Ở trên, chúng tôi giả định rằng ma trận hạt nhân

là chính xác bậc

. Điều này thường không phải là trường hợp; cho một hạt nhân Gaussian, ví dụ,

là luôn bậc

, nhưng giá trị riêng sau thường thả ra khá nhanh chóng, vì vậy nó sẽ là gần một ma trận cấp bậc

, và tái tạo của chúng ta về

hoặc

đang đi để gần với các giá trị thực nhưng không hoàn toàn giống nhau. Họ sẽ được tái tạo tốt hơn gần hơn eigenspace của

được cho rằng của

K

$K$

m

$m$

K

$K$

n

$n$

m

$m$

K_{21}

$K_{21}$

K_{test, 1}

$K_{\text{test},1}$

K_{11}

$K_{11}$

K

$K$ Nhìn chung, đó là lý do tại sao chọn đúng

m

$m$ điểm rất quan trọng trong thực tế.

Cũng lưu ý rằng nếu có bất kỳ giá trị riêng nào bằng 0, bạn có thể thay thế nghịch đảo bằng giả và mọi thứ vẫn hoạt động; bạn chỉ cần thay thế trong việc tái thiết với $K_{11}$ $K_{21}$ $K_{21} K_{11}^\dagger K_{11}$ .

$K$ $\max(\lambda_i, 10^{-12})$

— Dougal
nguồn

A

$A$

U Λ U^{T}

$U \Lambda U^T$

A

$A$

U Σ V^{T}

$U \Sigma V^T$

A^{- \frac{1}{2}} = V Σ^{- \frac{1}{2}} V^{T}

$A^{-\frac12} = V \Sigma^{-\frac12} V^T$

A

$A$

A V Σ^{- \frac{1}{2}} V^{T} = U Σ V^{T} V Σ^{- \frac{1}{2}} V^{T} = U Σ^{\frac{1}{2}} V^{T} = A^{\frac{1}{2}}

$A V \Sigma^{-\frac12} V^T = U \Sigma V^T V \Sigma^{-\frac12} V^T = U \Sigma^{\frac12} V^T = A^{\frac12}$

U Σ^{- \frac{1}{2}} V^{T} = K^{- \frac{1}{2}}

$U \Sigma^{-\frac12} V^T = K^{-\frac12}$

U \approx V

$U \approx V$

K_{11}

$K_{11}$

U Σ V^{T} V Σ^{- \frac{1}{2}} U^{T} = U Σ^{\frac{1}{2}} U^{T}

$U\Sigma V^T V \Sigma^{-\frac12} U^T = U \Sigma^{\frac12} U^T$

x^{- \frac{1}{2}} = 1 / \sqrt{x}

$x^{-\frac12} = 1 / \sqrt x$

V

$V$

V^{T}

$V^T$

x_{m}

$x_m$

x

$x$

x

$x$

R^{d}

$\mathbb R^d$

x \in X

$x \in \mathcal X$

k : X \times X \to R

$k : \mathcal X \times \mathcal X \to \mathbb R$

ϕ : X \to R^{m}

$\phi : \mathcal X \to \mathbb R^m$

k (x, x_{i})

$k(x, x_i)$

m

$m$