Bản đồ tính năng cho nhân Gaussian

24

Trong SVM, hạt nhân Gaussian được định nghĩa là: trong đó . Tôi không biết phương trình tường minh của . Tôi muốn biết điều đó.

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

Tôi cũng muốn biết liệu

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$ nơi

c_{i} \in R

$c_i\in \mathbb R$ . Bây giờ, tôi nghĩ rằng nó không bằng nhau, bởi vì sử dụng kernel xử lý tình huống mà trình phân loại tuyến tính không hoạt động. Tôi biết

ϕ

$\phi$ dự án x đến một không gian vô tận. Vì vậy, nếu nó vẫn duy trì tuyến tính, bất kể nó có bao nhiêu kích thước, svm vẫn không thể phân loại tốt.

machine-learning svm kernel-trick

— Vivian
nguồn

Tại sao hạt nhân này ngụ ý một sự chuyển đổi? Hay bạn đang đề cập đến không gian tính năng liên quan?

— Placidia

Có, không gian tính năng là gì

ϕ (\cdot)

$\phi(\cdot)$ sao cho

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— dùng27886

20

Bạn có thể có được phương trình rõ ràng của $\phi$ cho hạt nhân Gaussian thông qua việc mở rộng chuỗi Tailor của $e^x$ . Để đơn giản hóa công chứng, giả sử $x\in \mathbb{R}^1$ :

φ (x) = = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, Giáo dục]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

Điều này cũng được thảo luận chi tiết hơn trong các slide này bởi Chih-Jen Lin của NTU (cụ thể là slide 11). Lưu ý rằng trong các trang chiếu được sử dụng làm tham số kernel. $\gamma=\frac{1}{2\sigma^2}$

Phương trình trong OP chỉ giữ cho hạt nhân tuyến tính.

— Marc Claesen
nguồn

2

Xin chào, nhưng phương trình này ở trên chỉ phù hợp với một chiều.

— Vivian

Vì vậy, ở đây, không gian Hilbert kernel tái tạo là một không gian con của , đúng không?

ℓ^{2}

$\ell^2$

— The_Anomaly

Có phải cũng có một đại diện rõ ràng của hạt nhân Laplacian?

— Felix Crazzolara

13

Đối với bất kỳ hạt nhân psd hợp lệ nào , tồn tại một bản đồ đặc trưng sao cho . Không gian và nhúng trên thực tế không cần phải là duy nhất, nhưng có một cặp duy nhất quan trọng được gọi là không gian Hilbert nhân bản (RKHS). $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

RKHS được thảo luận bởi: Steinwart, Hush và Scigs, Mô tả rõ ràng về các hạt nhân tái tạo hạt nhân Hilbert của hạt nhân Gaussian RBF , Giao dịch của IEEE về lý thuyết thông tin 2006 ( doi , pdf citeseer miễn phí ).

Nó hơi phức tạp, nhưng nó hiểu rõ điều này: định nghĩa là $e_n : \mathbb C \to \mathbb C$

e_{n} (z) : = \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

Đặt là một chuỗi trong tất cả các tuples của các số nguyên không âm; if , có lẽ , , , v.v. Biểu thị thành phần thứ của thứ tuple bởi . $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ $j$ $i$ $n_{ij}$

Khi đó, thành phần thứ của là . Vì vậy, ánh xạ các vectơ trong thành các vectơ phức chiều vô hạn. $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

Điều hấp dẫn ở đây là chúng ta phải xác định thêm các định mức cho các vectơ phức vô hạn này theo một cách đặc biệt; xem giấy để biết chi tiết

Steinwart và cộng sự. cũng đưa ra một cách đơn giản hơn (theo suy nghĩ của tôi) nhúng vào , không gian Hilbert của các hàm có thể tích hợp vuông từ : Lưu ý rằng là chính nó một chức năng từ để . Đó là về cơ bản là mật độ của một chiều Gaussian với trung bình và hiệp phương sai ; chỉ có hằng số chuẩn hóa là khác nhau. Vì vậy, khi chúng ta lấy $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (x) = = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ chúng tôi đang lấy sản phẩm của các hàm mật độ Gaussian , bản thân nó là một hằng số nhất định nhân với các hàm mật độ Gaussian. Khi bạn thực hiện tích phân đó bằng , thì hằng số rơi ra cuối cùng chính xác là .

t

$t$

k (x, y)

$k(x, y)$

Đây không phải là nhúng duy nhất hoạt động.

Một cách khác dựa trên biến đổi Fourier, bài báo nổi tiếng của Rahimi và Recht ( Tính năng ngẫu nhiên cho các máy hạt nhân quy mô lớn , NIPS 2007) có hiệu quả rất lớn.

Bạn cũng có thể làm điều đó bằng cách sử dụng chuỗi Taylor: hiệu quả là phiên bản vô hạn của Cotter, Keshet và Srebro, xấp xỉ rõ ràng của hạt nhân Gaussian , arXiv: 1109.4603 .

— Dougal
nguồn

1

Douglas Zare đã đưa ra một phiên bản 1d của việc nhúng "đơn giản hơn" trong một chủ đề thú vị ở đây .

— Dougal

Tại đây, bạn tìm thấy một lời giải thích 'trực quan' hơn rằng có thể ánh xạ lên một khoảng không gian bằng với kích thước của mẫu đào tạo, ngay cả đối với một mẫu đào tạo vô hạn: stats.stackexchange.com/questions/80398/,

Φ

$\Phi$

6

Dường như với tôi rằng phương trình thứ hai của bạn sẽ chỉ đúng nếu là ánh xạ tuyến tính (và do đó là hạt nhân tuyến tính). Vì hạt nhân Gaussian là phi tuyến tính, nên đẳng thức sẽ không giữ (ngoại trừ có lẽ trong giới hạn khi đi về 0). $\phi$ $K$ $\sigma$

— Sao Hỏa Dikran
nguồn

Cảm ơn bạn vì câu trả lời. Khi , kích thước của các dự án nhân Gaussian sẽ tăng lên. Và theo cảm hứng của bạn, bây giờ tôi nghĩ nó không bằng. Bởi vì, sử dụng kernel chỉ xử lý tình huống phân loại tuyến tính không hoạt động.

σ \to 0

$\sigma\rightarrow 0$

— Vivian