Ưu điểm và nhược điểm của SVM


18

Bất cứ ai có thể giải thích cho tôi những lợi thế và bất lợi của phân loại SVM phân biệt nó với các phân loại khác?


3
Trong bối cảnh nào? Cho mục đích gì? Với loại SVM nào? Đối với loại dữ liệu nào?

Câu trả lời:


33

Có bốn ưu điểm chính: Thứ nhất, nó có thông số chính quy, khiến người dùng suy nghĩ về việc tránh lắp quá mức. Thứ hai, nó sử dụng thủ thuật kernel, vì vậy bạn có thể xây dựng kiến ​​thức chuyên môn về vấn đề thông qua kỹ thuật kernel. Thứ ba, một SVM được xác định bởi một vấn đề tối ưu hóa lồi (không có cực tiểu cục bộ) có các phương thức hiệu quả (ví dụ SMO). Cuối cùng, đó là một xấp xỉ với một ràng buộc về tỷ lệ lỗi kiểm tra, và có một lý thuyết đáng kể đằng sau nó cho thấy nó nên là một ý tưởng tốt.

Nhược điểm là lý thuyết chỉ thực sự bao gồm việc xác định các tham số cho một giá trị nhất định của các tham số chính quy và nhân và lựa chọn kernel. Theo cách mà SVM chuyển vấn đề khớp quá mức từ tối ưu hóa các tham số sang lựa chọn mô hình. Đáng buồn là các mô hình hạt nhân có thể khá nhạy cảm với việc phù hợp quá mức với tiêu chí lựa chọn mô hình, xem

GC Cawley và NLC Talbot, Quá phù hợp trong lựa chọn mô hình và sai lệch lựa chọn tiếp theo trong đánh giá hiệu suất, Tạp chí Nghiên cứu Máy học, 2010. Nghiên cứu, tập. 11, trang 2079-2107, tháng 7 năm 2010 ( pdf )

Lưu ý tuy nhiên vấn đề này không phải là duy nhất đối với các phương thức kernel, hầu hết các phương pháp học máy đều có vấn đề tương tự. Mất bản lề được sử dụng trong SVM dẫn đến sự thưa thớt. Tuy nhiên, thường thì sự lựa chọn tối ưu của các tham số kernel và chính quy có nghĩa là bạn kết thúc với tất cả dữ liệu là các vectơ hỗ trợ. Nếu bạn thực sự muốn một máy nhân thưa thớt, hãy sử dụng một cái gì đó được thiết kế thưa thớt ngay từ đầu (chứ không phải là một sản phẩm phụ hữu ích), chẳng hạn như Máy Vector Thông tin. Hàm mất được sử dụng cho hồi quy vectơ hỗ trợ không có sự phân tích thống kê rõ ràng, thông thường kiến ​​thức chuyên môn về vấn đề có thể được mã hóa trong hàm mất, ví dụ Poisson hoặc Beta hoặc Gaussian. Tương tự như vậy trong nhiều vấn đề phân loại bạn thực sự muốn xác suất thành viên của lớp,

Đó là về tất cả những gì tôi có thể nghĩ ra.


Còn những thách thức đối với những khó khăn phân loại đa lớp với các SVM thì sao?
Vass

1
@Vaas điểm tốt, trong quá khứ tôi đã sử dụng thuật toán DAGSVM và thấy nó khá hiệu quả. Các vấn đề đa lớp dường như không có giải pháp thanh lịch như vậy trong khung SVM, hồi quy logistic hạt nhân đa lớp có thể là cách tiếp cận tương tự nhất vẫn "thanh lịch".
Dikran Marsupial
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.