Làm thế nào để hiểu tác dụng của RBF SVM

Làm thế nào tôi có thể hiểu hạt nhân RBF trong SVM làm gì? Ý tôi là tôi hiểu các phép toán, nhưng có cách nào để có cảm giác khi hạt nhân này sẽ hữu ích không?

Kết quả từ kNN có liên quan đến SVM / RBF do RBF chứa khoảng cách vectơ không?

Có cách nào để có được cảm giác cho hạt nhân đa thức không? Tôi biết kích thước càng cao thì càng lung lay. Nhưng tôi muốn có được một trực giác những gì các hạt nhân làm hơn là thử tất cả các hạt nhân có thể và chọn thành công nhất.

svm kernel-trick

— Gerenuk
nguồn

Bạn có thể có thể bắt đầu bằng cách xem một trong những câu trả lời của tôi ở đây:
Phân loại SVM phi tuyến tính với hạt nhân RBF

Trong câu trả lời đó, tôi cố gắng giải thích chức năng kernel đang cố gắng làm gì. Khi bạn nắm bắt được những gì nó cố gắng thực hiện, theo dõi, bạn có thể đọc câu trả lời của tôi cho một câu hỏi trên Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- radial-cơ sở-chức năng-kernel-map-vào-vô hạn-chiều-không gian / câu trả lời / Arun-Iyer-1

Sao chép nội dung câu trả lời trên Quora, trong trường hợp bạn không có tài khoản Quora.

Câu hỏi: Tại sao ánh xạ hạt nhân RBF (hàm cơ sở xuyên tâm) vào không gian vô hạn? Trả lời: Xét hạt nhân đa thức bậc 2 được xác định bởi, trong đó và .
$k (x, y) = (x^{T} y)^{2}$ $k(x, y) = (x^Ty)^2$ $x, y \in \mathbb{R}^2$ $x = (x_1, x_2), y = (y_1, y_2)$
Do đó, hàm kernel có thể được viết là, Bây giờ, chúng ta hãy thử đưa ra một bản đồ đặc trưng sao cho hàm kernel có thể được viết là
$k (x, y) = (x_{1} y_{1} + x_{2} y_{2})^{2} = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ . $k(x, y) = \Phi(x)^T\Phi(y)$
Hãy xem xét bản đồ tính năng sau đây, Về cơ bản, bản đồ tính năng này đang ánh xạ các điểm trongđến các điểm trong . Ngoài ra, thông báo rằng, mà chủ yếu là chức năng hạt nhân của chúng tôi.
$Φ (x) = (x_{1}^{2}, \sqrt{2} x_{1} x_{2}, x_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (x)^{T} Φ (y) = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$
Điều này có nghĩa là hàm kernel của chúng ta thực sự đang tính toán sản phẩm bên trong / chấm của các điểm trong . Đó là, nó đang ngầm ánh xạ các điểm của chúng tôi từ đến . $\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$

Câu hỏi bài tập : Nếu các điểm của bạn nằm trong , một hạt nhân đa thức bậc 2 sẽ ánh xạ ngầm định nó tới một không gian vectơ F. Kích thước của không gian vectơ F này là gì? Gợi ý: Mọi thứ tôi làm ở trên là một manh mối. $\mathbb{R}^n$

Bây giờ, đến với RBF.

$\mathbb{R}^2$
$k (x, y) = \exp (- ‖ x - y ‖^{2}) = \exp (- (x_{1} - y_{1})^{2} - (x_{2} - y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= \exp (- x_{1}^{2} + 2 x_{1} y_{1} - y_{1}^{2} - x_{2}^{2} + 2 x_{2} y_{2} - y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \exp (2 x^{T} y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, y) = \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \sum_{n = 0}^{\infty} \frac{(2 x^{T} y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$
Câu hỏi bài tập : Lấy một vài phần tử vectơ đầu tiên của sơ đồ tính năng cho RBF cho trường hợp trên?

Bây giờ, từ câu trả lời trên, chúng ta có thể kết luận điều gì đó:

$\Phi$
$\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$

— TenaliRaman
nguồn