Bằng chứng về sự gần gũi của các hàm kernel dưới sản phẩm theo chiều

12

Làm thế nào tôi có thể chứng minh rằng sản phẩm theo chiều của hai hàm kernel là hàm kernel?

machine-learning kernel-trick

— Gigili
nguồn

17

Theo sản phẩm theo quan điểm, tôi giả sử bạn có nghĩa là nếu đều là các hàm nhân hợp lệ, thì sản phẩm của họ $k_1(x,y), k_2(x,y)$

\begin{aligned} k_{p} (x, y) = k_{1} (x, y) k_{2} (x, y) \end{aligned}

$\begin{align} k_{p}( x, y) = k_1( x, y) k_2(x,y) \end{align}$

cũng là một hàm kernel hợp lệ.

Chứng minh tính chất này khá đơn giản khi chúng ta gọi định lý Mercer. Vì là các hạt nhân hợp lệ, chúng tôi biết (thông qua Mercer) rằng họ phải thừa nhận một đại diện sản phẩm bên trong. Gọi là vectơ đặc trưng của và biểu thị tương tự cho . $k_1, k_2$ $a$ $k_1$ $b$ $k_2$

\begin{aligned} k_{1} (x, y) = a (x)^{T} a (y), a (z) = [a_{1} (z), a_{2} (z), \dots a_{M} (z)] \\ k_{2} (x, y) = b (x)^{T} b (y), b (z) = [b_{1} (z), b_{2} (z), \dots b_{N} (z)] \end{aligned}

$\begin{align} k_1(x,y) = a(x)^T a(y), \qquad a( z ) = [a_1(z), a_2(z), \ldots a_M(z)] \\ k_2(x,y) = b(x)^T b(y), \qquad b( z ) = [b_1(z), b_2(z), \ldots b_N(z)] \end{align}$

Vậy là một hàm tạo ra một vectơ -dim và tạo ra một vectơ -dim. $a$ $M$ $b$ $N$

Tiếp theo, chúng tôi chỉ viết sản phẩm theo và , và thực hiện một số nhóm. $a$ $b$

\begin{aligned} k_{p} (x, y) & = k_{1} (x, y) k_{2} (x, y) \\ = (\sum_{m = 1}^{M} a_{m} (x) a_{m} (y)) (\sum_{n = 1}^{N} b_{n} (x) b_{n} (y)) \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} [a_{m} (x) b_{n} (x)] [a_{m} (y) b_{n} (y)] \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} c_{m n} (x) c_{m n} (y) \\ = c (x)^{T} c (y) \end{aligned}

$\begin{align} k_{p}(x,y) &= k_1(x,y) k_2(x,y) \\&= \Big( \sum_{m=1}^M a_m(x) a_m(y) \Big) \Big( \sum_{n=1}^N b_n(x) b_n(y) \Big) \\&= \sum_{m=1}^M \sum_{n=1}^N [ a_m(x) b_n(x) ] [a_m(y) b_n(y)] \\&= \sum_{m=1}^M \sum_{n=1}^N c_{mn}( x ) c_{mn}( y ) \\&= c(x)^T c(y) \end{align}$

$c(z)$ $M \cdot N$ $c_{mn}(z) = a_m(z) b_n(z)$

$k_p(x,y)$ $c$ $k_p$

— Mike Hughes
nguồn

Làm thế nào để bạn biết rằng không gian Hilbert là hữu hạn chiều? Nó thậm chí không thể tách rời?

— Andrei Kh

k

$k$

⟹

$\implies$

k_{p}

$k_p$

3

Làm thế nào về bằng chứng sau đây:

Nguồn: Bài giảng phương pháp nhân UChicago , trang 5

— PALEN
nguồn

0

$K1$ $K2$ $k_1(x,y)$ $k_2(x,y)$ $k(x,y) = k_1(x,y)k_2(x,y)$ $K = K1 \circ K2$

$K_3 = K1 \otimes K2$
$K$ $K_3$

— ceyao zhang
nguồn