Tại sao svm không tốt như cây quyết định trên cùng một dữ liệu?

Tôi chưa quen với học máy và cố gắng sử dụng scikit-learn (sklearn) để giải quyết vấn đề phân loại. Cả Quyết định và SVM đều có thể đào tạo một trình phân loại cho vấn đề này.

Tôi sử dụng sklearn.ensemble.RandomForestClassifiervà sklearn.svm.SVCđể phù hợp với cùng một dữ liệu đào tạo (khoảng 500.000 mục với 50 tính năng cho mỗi mục). Các RandomForestClassifier đi ra với một phân loại trong khoảng một phút. Các SVC sử dụng nhiều hơn 24 giờ mà vẫn giữ chạy.

Tại sao SVC thực hiện không hiệu quả? Là dữ liệu được đặt quá lớn cho SVC ? Là SVC không phù hợp cho vấn đề như vậy?

Các khả năng bao gồm việc sử dụng một hạt nhân không phù hợp (ví dụ như một hạt nhân tuyến tính cho một vấn đề phi tuyến tính), sự lựa chọn kém về nhân và các tham số siêu chuẩn hóa. Lựa chọn mô hình tốt (lựa chọn điều chỉnh nhân và siêu tham số là chìa khóa để có được hiệu suất tốt từ các SVM, chúng chỉ có thể được mong đợi sẽ cho kết quả tốt khi được sử dụng đúng cách).

Các SVM thường mất nhiều thời gian để đào tạo, điều này đặc biệt đúng khi lựa chọn kernel và tham số chính quy đặc biệt có nghĩa là hầu hết tất cả các dữ liệu kết thúc dưới dạng các vectơ hỗ trợ (độ thưa của SVM là một sản phẩm phụ tiện dụng, không có gì hơn).

Cuối cùng, các định lý bữa trưa miễn phí nói rằng không có ưu thế a-prori cho bất kỳ hệ thống phân loại nào so với các hệ thống phân loại khác, do đó, phân loại tốt nhất cho một nhiệm vụ cụ thể là phụ thuộc vào nhiệm vụ. Tuy nhiên, có nhiều lý thuyết hấp dẫn hơn cho SVM cho thấy nó có khả năng là sự lựa chọn tốt hơn so với nhiều cách tiếp cận khác cho nhiều vấn đề.

Cây quyết định và Rừng ngẫu nhiên thực sự là những phân loại cực kỳ tốt. Mặc dù SVM (Support Vector Machines) được coi là phức tạp hơn nhưng thực tế không có nghĩa là chúng sẽ hoạt động tốt hơn.

Bài viết "So sánh dựa trên kinh nghiệm các thuật toán học được giám sát" của Rich Caruana đã so sánh 10 phân loại nhị phân khác nhau, SVM, Mạng nơ-ron, KNN, Hồi quy logistic, Naive Bay, Rừng ngẫu nhiên, Cây quyết định, Cây quyết định được đóng gói, Cây quyết định được tăng cường Cây trên mười một bộ dữ liệu khác nhau và so sánh kết quả trên 8 số liệu hiệu suất khác nhau.

Họ phát hiện ra rằng cây quyết định Boosted xuất hiện đầu tiên với Rừng ngẫu nhiên thứ hai và sau đó là Cây quyết định đóng gói và sau đó là SVM

Kết quả cũng sẽ phụ thuộc vào số lượng lớp bạn thực sự phân loại.

"cho dù một vấn đề là tuyến tính hay không" Trong một vấn đề phân loại nhị phân, nếu tập dữ liệu có thể được phân tách bằng một siêu phẳng, thì đó là một vấn đề tuyến tính.

Nếu tập dữ liệu không thể phân tách tuyến tính, trong khi bạn thử phân loại tuyến tính để tìm siêu phẳng như vậy hoàn toàn không tồn tại, thuật toán có thể chạy mãi mãi.

Một đề xuất: Bạn có thể lấy mẫu một phần nhỏ dữ liệu của mình và thử các thuật toán này để xem liệu nó có hoạt động trong một tập dữ liệu nhỏ hay không. Sau đó tăng dữ liệu để kiểm tra khi nào những vấn đề này xảy ra.