Hãy khai sáng cho tôi với thuật toán SMO của Platt (cho SVM)

Từ A_Roadmap_to_SVM_SMO.pdf , trang 12.

_{(nguồn: postimg.org )}

Giả sử tôi đang sử dụng kernel tuyến tính, làm thế nào tôi có thể có được cả sản phẩm bên trong thứ nhất và thứ hai?

Tôi đoán, sản phẩm bên trong của datapoint với datapoint j có nhãn lớp A cho sản phẩm bên trong đầu tiên của phương trình và sản phẩm bên trong của datapoint j với datapoints được dán nhãn lớp B cho sản phẩm bên trong thứ hai?

Sự am hiểu của bạn đa đung đăn. Vấn đề là phương trình (8)

$$y_i(<\textbf{w}, \phi_i> + b) - 1 = 0$$ không chính xác là một phương trình, mà là một hệ phương trình, mỗi phương trình $i$ chỉ số của các vectơ hỗ trợ (những vectơ cho mỗi $0<\alpha_i<C$.

Vấn đề là bạn không thể tính toán $b$ trong quá trình tối ưu hóa vấn đề kép vì việc tối ưu hóa không thành vấn đề, bạn phải quay lại và tính toán $b$ từ tất cả các phương trình khác mà bạn có (một cách có thể là (8)).

Gợi ý của Pinterestnick là không chỉ sử dụng một trong các phương trình đó, mà hai trong số đó, cụ thể là một vectơ hỗ trợ cho quan sát tiêu cực và một cho quan sát tích cực. Nói cách khác, hai vectơ hỗ trợ có dấu hiệu trái ngược nhau cho$y_i$.

Hãy đặt tên $A$ chỉ số của một vectơ hỗ trợ và $B$chỉ số của một vectơ siêu đối diện, ba bên bạn chọn từ hệ phương trình tại (8) chỉ có hai trong số chúng. Đánh giá cả hai và lấy ý nghĩa.

Từ:

$$y_A(<\textbf{w},\phi_A>+b)=1$$ $$y_B(<\textbf{w}, \phi_B>+b)=1$$ Chúng tôi nhận được: $$b_A=\frac{1}{y_A}-<\textbf{w},\phi_A>$$ $$b_B=\frac{1}{y_B}-<\textbf{w},\phi_B>$$ Ở đâu $b_A$ và $b_B$ là hai ước tính, sau đó trung bình là $$b = (b_A+b_B)/2 = -\frac{1}{2}(<\textbf{w},\phi_A>+<\textbf{w},\phi_B>)=-\frac{1}{2}\sum_{i=1}^{n}y_i\alpha_i(<\phi(x_i),\phi(x_A)>+<\phi(x_i),\phi(x_B)>)$$