Giải thích khoảng cách từ siêu phẳng trong SVM

Tôi có một vài nghi ngờ trong việc hiểu các SVM bằng trực giác. Giả sử chúng tôi đã đào tạo một mô hình SVM để phân loại bằng cách sử dụng một số công cụ tiêu chuẩn như SVMLight hoặc LibSVM.

1. Khi chúng tôi sử dụng mô hình này để dự đoán dữ liệu thử nghiệm, mô hình sẽ tạo một tệp có giá trị "alpha" cho mỗi điểm kiểm tra. Nếu giá trị alpha dương, điểm kiểm tra thuộc về Lớp 1, thì điểm khác thuộc về Lớp 2. Bây giờ, chúng ta có thể nói rằng điểm kiểm tra có giá trị "alpha" lớn hơn thuộc về lớp tương ứng với xác suất "cao hơn" không?

2. Tương tự như câu hỏi đầu tiên, khi chúng tôi có một SVM được đào tạo. Các SV nằm rất gần mặt phẳng siêu phẳng. Vậy điều đó có nghĩa là SV thuộc về lớp đó với xác suất cao? Chúng ta có thể liên hệ xác suất của một điểm thuộc về một lớp với khoảng cách từ "siêu phẳng" không? Giá trị "alpha" có biểu thị khoảng cách từ "siêu phẳng" không?

Cảm ơn vì đầu vào của bạn.

Hãy để tôi trả lời câu hỏi của bạn nói chung. SVM không phải là một mô hình xác suất. Một lý do là nó không tương ứng với khả năng bình thường hóa. Ví dụ trong regularized bình phương nhỏ nhất bạn có hàm tổn thất và regularizer ‖ w ‖ 2 2 . Vectơ trọng lượng có được bằng cách tối thiểu hóa tổng của hai. Tuy nhiên, điều này tương đương với việc tối đa hóa log-postior của w với dữ liệu p ( w | ( $\sum_i \|y_i - \langle w, x_i\rangle - b\|_2^2$$\|w\|_2^2$$w$ mà bạn có thể nhìn thấy được sản phẩm của khả năng Gaussian và Gaussian trước w ($p(w|(y_1,x_1),...,(y_m,x_m)) \propto 1/Z \exp(-\|w\|_2^2)\prod_i \exp(\|y_i - \langle w, x_i\rangle - b\|_2^2)$$w$$Z$đảm bảo rằng nó bình thường hóa). Bạn nhận được khả năng Gaussian từ hàm mất bằng cách lật dấu của nó và lũy thừa nó. Tuy nhiên, nếu bạn làm điều đó với chức năng mất của SVM, khả năng đăng nhập không phải là mô hình xác suất bình thường.

Có những nỗ lực để biến SVM thành một. Điều đáng chú ý nhất, đó là - tôi nghĩ - cũng được triển khai trong libsvm là:

John Platt: Kết quả xác suất cho các máy vectơ hỗ trợ và so sánh với các phương pháp khả năng thường xuyên (NIPS 1999): http://www.cs.colorado.edu/~mozer/Teaching/syllabi/6622/ con / Platt1999.pdf

$\alpha$$\alpha$$\sum_{i \in SV}\alpha_i k(x,x_i) + b$$y$$y = \sum_{i \in SV}\alpha_i k(x,x_i) + b = \langle w, \phi(x) \rangle_{\mathcal H} + b$$w$$y$$w$$\|w\|_{H} = \sqrt{\sum_{i,j\in SV} \alpha_i \alpha_j k(x_i,x_j)}$.