Phân loại SVM phi tuyến tính với hạt nhân RBF

Tôi đang triển khai trình phân loại SVM phi tuyến tính với kernel RBF. Tôi được biết rằng sự khác biệt duy nhất so với một SVM bình thường là tôi chỉ cần thay thế sản phẩm chấm bằng hàm kernel: Tôi biết một SVM tuyến tính bình thường hoạt động như thế nào, sau khi giải bài toán tối ưu hóa bậc hai (tác vụ kép), tôi tính toán siêu phẳng chia tối ưu là và phần bù của siêu phẳng , trong đó là danh sách các vectơ đào tạo của tôi, là nhãn tương ứng của chúng ( ),

K (x_{i}, x_{j}) = \exp (- \frac{| | x_{i} - x_{j} | |^{2}}{2 σ^{2}})

$K(x_i,x_j)=\exp\left(-\frac{||x_i-x_j||^2}{2\sigma^2}\right)$

w^{*} = \sum_{i \in S V} h_{i} y_{i} x_{i}

$w^*=\sum_{i \in SV} h_i y_i x_i$

b^{*} = \frac{1}{| S V |} \sum_{i \in S V} (y_{i} - \sum_{j = 1}^{N} (h_{j} y_{j} x_{j}^{T} x_{i}))

$b^*=\frac{1}{|SV|}\sum_{i \in SV}\left(y_i - \sum_{j=1}^N\left(h_j y_j x_j^T x_i\right)\right)$

x

$x$

y

$y$

y_{i} \in {- 1, 1}

$y_i \in \{-1,1\}$

h

$h$ là các hệ số Lagrangian và là một tập các vectơ hỗ trợ. Sau đó, tôi có thể sử dụng và một mình để dễ dàng phân loại: .

S V

$SV$

w^{*}

$w^*$

b^{*}

$b^*$

c_{x} = sign (w^{T} x + b)

$c_x=\text{sign}(w^Tx+b)$

Tuy nhiên, tôi không nghĩ rằng tôi có thể làm điều đó với hạt nhân RBF. Tôi tìm thấy một số tài liệu cho thấy . Điều đó sẽ làm cho nó dễ dàng. Tuy nhiên, tôi không nghĩ rằng một phân tách như vậy tồn tại cho hạt nhân này và nó không được đề cập ở bất cứ đâu. Là tình huống để tất cả các vectơ hỗ trợ là cần thiết để phân loại? Nếu vậy, làm thế nào để tôi phân loại trong trường hợp đó? $K(x,y)=\phi(x)\phi(y)$

— Jan Hadáček
nguồn

Không phải là một câu trả lời hoàn chỉnh nhưng tôi đã có những slide ở uni: patterns.enm.bris.ac.uk/files/lecture10-2010.pdf

— Tristan

Đặt thể hiện không gian đầu vào của bạn, tức là không gian nơi các điểm dữ liệu của bạn cư trú. Hãy xem xét một hàm sao cho nó lấy một điểm từ không gian đầu vào của bạn và ánh xạ nó tới một điểm trong . Bây giờ, hãy để chúng tôi nói rằng chúng tôi đã ánh xạ tất cả các điểm dữ liệu của bạn từ sang không gian mới này . Bây giờ, nếu bạn cố gắng giải quyết các Svm tuyến tính bình thường trong không gian mới này thay vì , bạn sẽ nhận thấy rằng tất cả các hoạt động trước đó chỉ đơn giản trông giống nhau, ngoại trừ tất cả các điểm được biểu diễn như $\mathcal{X}$ $\Phi:\mathcal{X} \rightarrow \mathcal{F}$ $\mathcal{X}$ $\mathcal{F}$ $\mathcal{X}$ $\mathcal{F}$ $\mathcal{F}$ $\mathcal{X}$ $x_i$ $\Phi(x_i)$ và thay vì sử dụng (sản phẩm chấm) là sản phẩm bên trong tự nhiên cho không gian Euclide, chúng tôi thay thế bằng đại diện cho sản phẩm bên trong tự nhiên trong không gian mới . Vì vậy, cuối cùng, của bạn sẽ trông như thế nào, $x^Ty$ $\langle \Phi(x), \Phi(y) \rangle$ $\mathcal{F}$ $w^*$

w^{*} = \sum_{i \in S V} h_{i} y_{i} Φ (x_{i})

$w^*=\sum_{i \in SV} h_i y_i \Phi(x_i)$

và do đó,

⟨ w^{*}, Φ (x) ⟩ = \sum_{i \in S V} h_{i} y_{i} ⟨ Φ (x_{i}), Φ (x) ⟩

$\langle w^*, \Phi(x) \rangle = \sum_{i \in SV} h_i y_i \langle \Phi(x_i), \Phi(x) \rangle$

Tương tự,

b^{*} = \frac{1}{| S V |} \sum_{i \in S V} (y_{i} - \sum_{j = 1}^{N} (h_{j} y_{j} ⟨ Φ (x_{j}), Φ (x_{i}) ⟩))

$b^*=\frac{1}{|SV|}\sum_{i \in SV}\left(y_i - \sum_{j=1}^N\left(h_j y_j \langle \Phi(x_j), \Phi(x_i)\rangle\right)\right)$

và quy tắc phân loại của bạn trông giống như: . $c_x=\text{sign}(\langle w, \Phi(x) \rangle+b)$

Cho đến nay rất tốt, không có gì mới, vì chúng tôi chỉ đơn giản áp dụng SVM tuyến tính bình thường cho một không gian khác. Tuy nhiên, phần ma thuật là đây -

Hãy để chúng tôi nói rằng tồn tại một hàm sao cho . Sau đó, chúng ta có thể thay thế tất cả các sản phẩm chấm ở trên bằng . Như vậy được gọi là hàm kernel. $k:\mathcal{X}\times\mathcal{X}\rightarrow \mathbb{R}$ $k(x_i, x_j) = \langle \Phi(x_i), \Phi(x_j) \rangle$ $k(x_i, x_j)$ $k$

Do đó, và trông giống như, $w^*$ $b^*$

⟨ w^{*}, Φ (x) ⟩ = \sum_{i \in S V} h_{i} y_{i} k (x_{i}, x)

$\langle w^*, \Phi(x) \rangle = \sum_{i \in SV} h_i y_i k(x_i, x)$

b^{*} = \frac{1}{| S V |} \sum_{i \in S V} (y_{i} - \sum_{j = 1}^{N} (h_{j} y_{j} k (x_{j}, x_{i})))

$b^*=\frac{1}{|SV|}\sum_{i \in SV}\left(y_i - \sum_{j=1}^N\left(h_j y_j k(x_j, x_i)\right)\right)$

Đối với chức năng hạt nhân nào là sự thay thế hợp lệ ở trên? Chà, đó là một câu hỏi hơi liên quan và bạn có thể muốn đọc tài liệu đọc thích hợp để hiểu những hàm ý đó. Tuy nhiên, tôi sẽ chỉ nói thêm rằng những điều trên đúng với RBF Kernel.

Để trả lời câu hỏi của bạn, "Có phải tình huống sao cho tất cả các vectơ hỗ trợ là cần thiết cho việc phân loại?" Đúng. Như bạn có thể nhận thấy ở trên, chúng tôi tính toán sản phẩm bên trong của với thay vì tính toán một cách rõ ràng. Điều này đòi hỏi chúng tôi phải giữ lại tất cả các vectơ hỗ trợ để phân loại. $w$ $x$ $w$

Lưu ý: Các trong phần cuối cùng ở đây là giải pháp cho kép của SVM trong không gian chứ không phải . Điều đó có nghĩa là chúng ta cần biết rõ về chức năng? May mắn là không. Nếu bạn nhìn vào mục tiêu kép, nó chỉ bao gồm sản phẩm bên trong và vì chúng ta có cho phép chúng ta tính trực tiếp sản phẩm bên trong, chúng ta không cần phải biết rõ . Mục tiêu kép trông giống như, $h_i$ $\mathcal{F}$ $\mathcal{X}$ $\Phi$ $k$ $\Phi$

max \sum_{i} h_{i} - \sum_{i, j} y_{i} y_{j} h_{i} h_{j} k (x_{i}, x_{j}) subject to : \sum_{i} y_{i} h_{i} = 0, h_{i} \geq 0

$\max \sum_i h_i - \sum_{i,j} y_i y_j h_i h_j k(x_i, x_j) \\ \text{subject to : } \sum_i y_i h_i = 0, h_i \geq 0$

— TenaliRaman
nguồn

@ JanHadáček Chào mừng bạn! Thật tốt khi biết rằng câu trả lời của tôi là dễ hiểu, tôi đã lo lắng rằng nó có thể quá cô đọng :-)

— TenaliRaman

Lời giải thích rất hay

— anh chàng người London