Làm thế nào để chứng minh rằng hàm cơ sở xuyên tâm là một hạt nhân?

35

Làm thế nào để chứng minh rằng hàm cơ sở xuyên tâm là một hạt nhân? Theo tôi hiểu, để chứng minh điều này, chúng tôi phải chứng minh một trong những điều sau đây: $k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})$

Đối với bất kỳ tập hợp vectơ matrix = là semidefinite dương. $x_1, x_2, ..., x_n$ $K(x_1, x_2, ..., x_n)$ $(k(x_i, x_j))_{n \times n}$
Một ánh xạ có thể được trình bày như = . $\Phi$ $k(x, y)$ $\langle\Phi(x), \Phi(y)\rangle$

Có ai giúp đỡ không?

svm kernel-trick

— Sư Tử
nguồn

1

Chỉ cần liên kết rõ ràng hơn: bản đồ tính năng cũng được thảo luận trong câu hỏi này , đặc biệt là câu trả lời của Marc Claesen dựa trên loạt Taylor và của tôi , thảo luận về cả RKHS và phiên bản chung của nhúng do Douglas đưa ra dưới đây.

L_{2}

$L_2$

— Dougal

26

Zen đã sử dụng phương pháp 1. Đây là phương pháp 2: Ánh đến phân bố Gauss đối xứng hình cầu có tâm ở trong không gian Hilbert . Độ lệch chuẩn và một yếu tố không đổi phải được điều chỉnh để điều này hoạt động chính xác. Ví dụ: trong một chiều, $x$ $x$ $L^2$

\int_{- \infty}^{\infty} \frac{\exp [- (x - z)^{2} / (2 σ^{2})]}{\sqrt{2 π} σ} \frac{\exp [- (y - z)^{2} / (2 σ^{2})}{\sqrt{2 π} σ} d z = \frac{\exp [- (x - y)^{2} / (4 σ^{2})]}{2 \sqrt{π} σ} .

$\int_{-\infty}^\infty \frac{\exp[-(x-z)^2/(2\sigma^2)]}{\sqrt{2 \pi} \sigma} \frac{\exp[-(y-z)^2/(2 \sigma^2)}{\sqrt{2 \pi} \sigma} dz = \frac{\exp [-(x-y)^2/(4 \sigma^2)]}{2 \sqrt \pi \sigma}.$

Vì vậy, hãy sử dụng độ lệch chuẩn của và chia tỷ lệ phân phối Gaussian để lấy . Sự thay đổi kích thước cuối cùng này xảy ra bởi vì định mức của phân phối bình thường không phải là nói chung. $\sigma/\sqrt 2$ $k(x,y) = \langle \Phi(x), \Phi(y)\rangle$ $L^2$ $1$

— Douglas Zare
nguồn

2

@Zen, Douglas Zare: cảm ơn bạn vì câu trả lời tuyệt vời của bạn. Làm thế nào tôi có thể chọn câu trả lời chính thức bây giờ?

— Leo

23

Tôi sẽ sử dụng phương pháp 1. Kiểm tra câu trả lời của Douglas Zare để tìm bằng chứng sử dụng phương pháp 2.

Tôi sẽ chứng minh trường hợp khi là số thực, vì vậy . Trường hợp chung theo sau những sửa đổi thích hợp từ cùng một lập luận và đáng để thực hiện. $x,y$ $k(x,y)=\exp(-(x-y)^2/2\sigma^2)$

Không mất tính tổng quát, giả sử rằng . $\sigma^2=1$

Viết , trong đó là hàm đặc trưng của biến ngẫu nhiên có phân phối . $k(x,y)=h(x-y)$

h (t) = \exp (- \frac{t^{2}}{2}) = E [e^{i t Z}]

$h(t)=\exp\left(-\frac{t^2}{2}\right)=\mathrm{E}\left[e^{itZ}\right]$

Z

$Z$

N (0, 1)

$N(0,1)$

Đối với các số thực và , chúng ta có trong đó đòi hỏi là hàm semidefinite dương, hay còn gọi là kernel. $x_1,\dots,x_n$ $a_1,\dots,a_n$

\sum_{j, k = 1}^{n} a_{j} a_{k} h (x_{j} - x_{k}) = \sum_{j, k = 1}^{n} a_{j} a_{k} E [e^{i (x_{j} - x_{k}) Z}] = E [\sum_{j, k = 1}^{n} a_{j} e^{i x_{j} Z} a_{k} e^{- i x_{k} Z}] = E [{| \sum_{j = 1}^{n} a_{j} e^{i x_{j} Z} |}^{2}] \geq 0,

$\sum_{j,k=1}^n a_j\,a_k\,h(x_j-x_k) = \sum_{j,k=1}^n a_j\,a_k\,\mathrm{E} \left[ e^{i(x_j-x_k)Z}\right] = \mathrm{E} \left[ \sum_{j,k=1}^n a_j\,e^{i x_j Z}\,a_k\,e^{-i x_k Z}\right] = \mathrm{E}\left[ \left| \sum_{j=1}^n a_j\,e^{i x_j Z}\right|^2\right] \geq 0 \, ,$

k

$k$

Để hiểu kết quả này trong tính tổng quát cao hơn, hãy xem Định lý của Bochner: http://en.wikipedia.org/wiki/Positive-definite_feft

— Thiền
nguồn

2

Đây là một khởi đầu tốt, đúng hướng, với hai cảnh báo: (a) không bằng với kỳ vọng được hiển thị (kiểm tra dấu trong số mũ) và (b) điều này xuất hiện để hạn chế sự chú ý đến trường hợp trong đó và là vô hướng và không phải vectơ. Trong khi đó, tôi đã ủng hộ, vì giải trình rất hay và sạch sẽ và tôi chắc chắn bạn sẽ nhanh chóng cắm những khoảng trống nhỏ này. :-)

h (t)

$h(t)$

x

$x$

y

$y$

— Đức hồng y

1

Tks! Tôi đang vội ở đây. :-)

— Zen

1

Xin lỗi, tôi thực sự không thấy cách bạn quản lý những sửa đổi thích hợp ở đây. Nếu bạn xây dựng định mức trước khi chuyển sang biểu mẫu , thì bạn đã có sản phẩm và bạn không thể trao đổi sản phẩm và tổng hợp. Và tôi chỉ đơn giản là không thấy cách phát triển định mức sau khi chuyển sang dạng h để có được biểu thức đẹp. Bạn có thể dẫn tôi một chút ở đó không? :)

h

$h$

— Alburkerk

23

Tôi sẽ thêm một phương thức thứ ba, chỉ để đa dạng: xây dựng kernel từ một chuỗi các bước chung được biết để tạo hạt nhân pd. Đặt biểu thị miền của các hạt nhân bên dưới và các bản đồ tính năng. $\mathcal X$ $\varphi$

Tỷ lệ: Nếu là hạt nhân pd, thì cho bất kỳ hằng số . $\kappa$ $\gamma \kappa$ $\gamma > 0$

Bằng chứng: nếu là bản đồ tính năng cho , là bản đồ tính năng hợp lệ cho . $\varphi$ $\kappa$ $\sqrt\gamma \varphi$ $\gamma \kappa$
Tổng: Nếu và là hạt nhân pd, thì . $\kappa_1$ $\kappa_2$ $\kappa_1 + \kappa_2$

Bằng chứng: nối các tính năng maps và , để có . $\varphi_1$ $\varphi_2$ $x \mapsto \begin{bmatrix}\varphi_1(x) \\ \varphi_2(x)\end{bmatrix}$
Giới hạn: Nếu là hạt nhân pd và tồn tại với mọi , thì là pd. $\kappa_1, \kappa_2, \dots$ $\kappa(x, y) := \lim_{n \to \infty} \kappa_n(x, y)$ $x, y$ $\kappa$

Chứng minh: Với mỗi và mọi chúng ta có . Lấy giới hạn là cung cấp cùng một thuộc tính cho . $m, n \ge 1$ $\{ (x_i, c_i) \}_{i=1}^m \subseteq \mathcal{X} \times \mathbb R$ $\sum_{i=1}^m c_i \kappa_n(x_i, x_j) c_j \ge 0$ $n \to \infty$ $\kappa$
Sản phẩm: Nếu và là hạt nhân pd, thì . $\kappa_1$ $\kappa_2$ $g(x, y) = \kappa_1(x, y) \, \kappa_2(x, y)$

Bằng chứng: Nó xuất hiện ngay sau định lý sản phẩm Schur , nhưng Schölkopf và Smola (2002) đưa ra bằng chứng cơ bản, tốt đẹp sau đây. Đặt độc lập. Như vậy Ma trận hiệp phương sai phải là psd, vì vậy việc xem xét ma trận hiệp phương sai của chứng minh điều đó.
$(V_{1}, \dots, V_{m}) \sim N (0, {[κ_{1} (x_{i}, x_{j})]}_{i j}) (W_{1}, \dots, W_{m}) \sim N (0, {[κ_{2} (x_{i}, x_{j})]}_{i j})$ $(V_1, \dots, V_m) \sim \mathcal{N}\left( 0, \left[ \kappa_1(x_i, x_j) \right]_{ij} \right) \\ (W_1, \dots, W_m) \sim \mathcal{N}\left( 0, \left[ \kappa_2(x_i, x_j) \right]_{ij} \right)$ $C o v (V_{i} W_{i}, V_{j} W_{j}) = C o v (V_{i}, V_{j}) C o v (W_{i}, W_{j}) = κ_{1} (x_{i}, x_{j}) κ_{2} (x_{i}, x_{j}) .$ $\mathrm{Cov}(V_i W_i, V_j W_j) = \mathrm{Cov}(V_i, V_j) \,\mathrm{Cov}(W_i, W_j) = \kappa_1(x_i, x_j) \kappa_2(x_i, x_j).$ $(V_1 W_1, \dots, V_n W_n)$
Quyền hạn: Nếu là hạt nhân pd, thì với mọi số nguyên dương . $\kappa$ $\kappa^n(x, y) := \kappa(x, y)^n$ $n$

Bằng chứng: ngay lập tức từ tài sản "sản phẩm".
Số mũ: Nếu là hạt nhân pd, thì . $\kappa$ $e^\kappa(x, y) := \exp(\kappa(x, y))$

Chứng minh: Chúng tôi có ; sử dụng các thuộc tính "quyền hạn", "tỷ lệ", "tổng" và "giới hạn". $e^\kappa(x, y) = \lim_{N \to \infty} \sum_{n=0}^N \frac{1}{n!} \kappa(x, y)^n$
Hàm: Nếu là hạt nhân pd và , cũng vậy. $\kappa$ $f : \mathcal X \to \mathbb R$ $g(x, y) := f(x) \kappa(x, y) f(y)$

Chứng minh: Sử dụng bản đồ đặc trưng . $x \mapsto f(x) \varphi(x)$

Bây giờ, lưu ý rằng Bắt đầu với kernel tuyến tính , áp dụng "tỷ lệ" với , áp dụng "số mũ" và áp dụng "hàm" với .

\begin{aligned} k (x, y) & = \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}) \\ = \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2}) \exp (\frac{1}{σ^{2}} x^{T} y) \exp (- \frac{1}{2 σ^{2}} ‖ y ‖^{2}) . \end{aligned}

$\begin{align*} k(x, y) &= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right) \\&= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right) \exp\left( \tfrac{1}{\sigma^2} x^T y \right) \exp\left( - \tfrac{1}{2 \sigma^2} \lVert y \rVert^2 \right) .\end{align*}$

κ (x, y) = x^{T} y

$\kappa(x, y) = x^T y$

\frac{1}{σ^{2}}

$\frac{1}{\sigma^2}$

x \mapsto \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2})

$x \mapsto \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right)$

— Dougal
nguồn