Các lĩnh vực mà các SVM vẫn là hiện đại là gì?

Dường như các mạng thần kinh sâu và các mô hình dựa trên mạng thần kinh khác đang thống trị nhiều lĩnh vực hiện tại như thị giác máy tính, phân loại đối tượng, học tập củng cố, v.v.

Có những miền mà các SVM (hoặc các mô hình khác) vẫn đang tạo ra kết quả hiện đại không?

Công nghệ tiên tiến là một thanh khó khăn, bởi vì không rõ nó nên được đo như thế nào. Một tiêu chí khác, gần giống với công nghệ hiện đại, là hỏi khi nào bạn có thể muốn thử một SVM.

Các SVM có một số lợi thế:

1. Thông qua thủ thuật kernel, thời gian chạy của một SVM không tăng đáng kể nếu bạn muốn tìm hiểu các mẫu qua nhiều kết hợp tính năng phi tuyến tính, thay vì bộ tính năng gốc. Ngược lại, một cách tiếp cận hiện đại hơn như mạng lưới thần kinh sâu sẽ cần phải sâu hơn hoặc rộng hơn để mô hình hóa các mẫu tương tự, điều này sẽ làm tăng thời gian đào tạo của nó.
2. Các SVM có khuynh hướng cố hữu đối với việc chọn các giả thuyết "bảo thủ", ít có khả năng phù hợp với dữ liệu hơn, vì họ cố gắng tìm các giả thuyết lề tối đa. Ở một khía cạnh nào đó, họ "nướng" trong chiếc dao cạo của Occam.
3. Các SVM chỉ có hai siêu đường kính (sự lựa chọn hạt nhân và hằng số chính quy), vì vậy chúng rất dễ điều chỉnh các vấn đề cụ thể. Nó thường là đủ để điều chỉnh chúng bằng cách thực hiện tìm kiếm lưới đơn giản thông qua không gian tham số, có thể được thực hiện tự động.

Các SVM cũng có một số nhược điểm:

1. $O(n^3)$$O(w*n*e)$$n$$e$$w$$w, e << n$
2. $O(n^2)$

Tất cả các yếu tố này đều chỉ ra các SVM có liên quan đến chính xác một trường hợp sử dụng: các bộ dữ liệu nhỏ trong đó mẫu mục tiêu được cho là, apriori, là một số chức năng thông thường, nhưng phi tuyến tính của một số lượng lớn các tính năng. Trường hợp sử dụng này thực sự phát sinh khá thường xuyên. Một ứng dụng ví dụ gần đây mà tôi thấy các SVM là một cách tiếp cận tự nhiên đang xây dựng các mô hình dự đoán cho một hàm mục tiêu được biết đến là kết quả của sự tương tác giữa các cặp tính năng (cụ thể là giao tiếp giữa các cặp tác nhân). Do đó, một SVM với hạt nhân bậc hai có thể học hỏi một cách hiệu quả, hợp lý, đoán.

¹ Có các thuật toán gần đúng sẽ giải quyết SVM nhanh hơn mức này, như đã lưu ý trong các câu trả lời khác.

Deep Learning và Mạng nơ-ron đang tập trung phần lớn vì những tiến bộ gần đây trong lĩnh vực này và hầu hết các chuyên gia tin rằng đó là tương lai của việc giải quyết các vấn đề về máy học.

Nhưng không có lỗi, các mô hình cổ điển vẫn tạo ra kết quả đặc biệt và trong một số vấn đề nhất định, chúng có thể tạo ra kết quả tốt hơn so với học sâu.

Regression tuyến tính vẫn là thuật toán học máy được sử dụng nhiều nhất trên thế giới.

Thật khó để xác định một miền cụ thể nơi các mô hình cổ điển luôn hoạt động tốt hơn vì độ chính xác được xác định rất nhiều về hình dạng và chất lượng của dữ liệu đầu vào.

Vì vậy, thuật toán và lựa chọn mô hình luôn luôn là một sự đánh đổi. Đó là một tuyên bố có phần chính xác để làm cho các mô hình cổ điển vẫn hoạt động tốt hơn với các tập dữ liệu nhỏ hơn. Tuy nhiên, rất nhiều nghiên cứu đang đi vào cải thiện hiệu suất mô hình học tập sâu trên ít dữ liệu.

Hầu hết các mô hình cổ điển đòi hỏi ít tài nguyên tính toán hơn nên nếu mục tiêu của bạn là tốc độ thì tốt hơn nhiều.

Ngoài ra, các mô hình cổ điển dễ thực hiện và hình dung hơn có thể là một chỉ số khác cho hiệu suất, nhưng nó phụ thuộc vào mục tiêu của bạn.

Nếu bạn có tài nguyên không giới hạn, một bộ dữ liệu lớn có thể quan sát được dán nhãn chính xác và bạn triển khai chính xác trong miền vấn đề thì việc học sâu có thể sẽ mang lại cho bạn kết quả tốt hơn trong hầu hết các trường hợp.

Nhưng theo kinh nghiệm của tôi, điều kiện trong thế giới thực không bao giờ hoàn hảo đến thế

Hoàn toàn đồng ý với câu trả lời của @ John. Sẽ cố gắng và bổ sung rằng với một số điểm hơn.

Một số ưu điểm của SVM:

a) SVM được xác định bởi một vấn đề tối ưu hóa lồi mà có các phương pháp hiệu quả để giải quyết, như SMO .

b) Hiệu quả trong không gian chiều cao và cả trong trường hợp số lượng kích thước lớn hơn số lượng mẫu.

c) Sử dụng tập hợp con các điểm đào tạo trong hàm quyết định (được gọi là vectơ hỗ trợ), do đó, nó cũng có hiệu quả bộ nhớ.

d) Các hàm Kernel khác nhau có thể được chỉ định cho hàm quyết định. . Ở dạng đơn giản nhất, thủ thuật kernel có nghĩa là chuyển đổi dữ liệu sang một chiều khác có biên độ phân chia rõ ràng giữa các lớp dữ liệu.

Những nhược điểm của máy vectơ hỗ trợ bao gồm:

a) Nếu số lượng tính năng lớn hơn số lượng mẫu, việc tránh sự phù hợp quá mức trong việc chọn các hàm Kernel và thuật ngữ chính quy là rất quan trọng. Các mô hình hạt nhân có thể khá nhạy cảm để phù hợp với tiêu chí lựa chọn mô hình

b) Các SVM không trực tiếp cung cấp các ước tính xác suất. Trong nhiều vấn đề phân loại, bạn thực sự muốn xác suất thành viên của lớp, vì vậy sẽ tốt hơn nếu sử dụng một phương thức như Logistic Regression, thay vì xử lý hậu kỳ đầu ra của SVM để có xác suất.

Đối với các tập dữ liệu của dữ liệu bảng chiều thấp. DNN không hiệu quả đối với đầu vào chiều thấp vì quá lớn. Vì vậy, ngay cả khi tập dữ liệu có kích thước rất lớn, nhưng mỗi mẫu là SVM chiều thấp sẽ đánh bại DNN.

Tổng quát hơn nếu dữ liệu ở dạng bảng và tương quan giữa các trường của mẫu yếu và nhiễu, SVM vẫn có thể đánh bại DNN ngay cả đối với dữ liệu chiều cao, nhưng điều đó phụ thuộc vào dữ liệu cụ thể.

Thật không may, tôi không thể nhớ lại bất kỳ bài viết cụ thể nào về chủ đề này, vì vậy đó là lý do chủ yếu thông thường, bạn không cần phải tin vào nó.