SVM có thể truyền phát một ví dụ tại một thời điểm không?

Tôi có một bộ dữ liệu phát trực tuyến, các ví dụ có sẵn tại một thời điểm. Tôi sẽ cần phải làm phân loại nhiều lớp trên chúng. Ngay khi tôi đưa ra một ví dụ đào tạo cho quá trình học tập, tôi phải loại bỏ ví dụ này. Đồng thời, tôi cũng đang sử dụng mô hình mới nhất để thực hiện dự đoán về dữ liệu không ghi nhãn.

Theo như tôi biết, một mạng lưới thần kinh có thể thực hiện việc học theo luồng bằng cách cung cấp các ví dụ một lần và thực hiện việc truyền bá về phía trước và truyền động ngược trên ví dụ.

Một SVM có thể thực hiện truyền phát một ví dụ tại một thời điểm và loại bỏ ví dụ ngay lập tức không?

Cài đặt phát trực tuyến trong học máy được gọi là "học trực tuyến". Không có máy vectơ hỗ trợ chính xác trong cài đặt trực tuyến (vì định nghĩa của hàm mục tiêu vốn đã dành cho cài đặt hàng loạt). Có lẽ sự khái quát hóa đơn giản nhất của SVM đối với cài đặt trực tuyến là các thuật toán tích cực thụ động. Mã ở đây http://webee.technion.ac.il/people/koby/code-index.html và một bài báo liên quan ở đây http://eprints.pascal-network.org/archive/00002147/01/CrammerDeKeShSi06. pdf

Ý tưởng cơ bản là người ta nhận được dữ liệu là ghép với các điểm truy vấn trong đó là số lượng nhãn. Thuật toán duy trì ma trận trọng số tại lần lặp các thuật toán nhận được điểm dữ liệu và sau đó đưa ra điểm số dự đoán cho mỗi nhãn và nó dự đoán nhãn có điểm cao nhất là nhãn thật. Nếu dự đoán sai thì thuật toán thực hiện thay đổi nhỏ nhất thànhx ∈ R k W t ∈ R k × d t x t y t = W x t W $(\mathbf{x},y)\in\mathbb{R}^d\times [k]$$\mathbf{x}\in \mathbb{R}$$k$$W_t\in \mathbb{R}^{k\times d}$$t$$\mathbf{x}_t$$\hat{\mathbf{y}}_t=W\mathbf{x}_t$$W_t$như vậy nó sẽ tránh được sai lầm đó trong tương lai. Thay đổi nhỏ nhất ở đây được xác định theo các tiêu chuẩn Frobenius.

Tôi luôn thấy khung cập nhật ngầm (bao gồm các thuật toán tích cực thụ động được đề cập trong câu trả lời khác ở đây) phức tạp hơn một cách không cần thiết so với khung cập nhật rõ ràng (không đề cập đến việc cập nhật ngầm có thể chậm hơn nhiều so với các thuật toán rõ ràng trừ khi giải pháp dạng đóng để cập nhật ngầm có sẵn).

Cập nhật phần mềm quan trọng trực tuyến là một ví dụ về thuật toán cập nhật rõ ràng tiên tiến, đơn giản hơn, nhanh hơn và linh hoạt hơn (hỗ trợ nhiều chức năng mất, nhiều hình phạt, học tập nhạy cảm với chi phí, v.v.) so với các đối tác ngầm của nó. Bài viết chỉ đề cập đến các mô hình tuyến tính (svm tuyến tính tương ứng với trường hợp hàm mất bản lề với hình phạt bậc hai)

Vì bạn cần phân loại nhiều lớp, một cách tiếp cận là sử dụng chức năng "cắt giảm" của vowpal wợi (được xây dựng trên đỉnh của cách tiếp cận từ bài báo) không được ghi lại một cách đáng tiếc.

LASVM là một trong những biến thể học tập trực tuyến phổ biến nhất của SVM.

Các SVM tuyến tính cũng có thể được đào tạo bằng cách sử dụng độ dốc dốc ngẫu nhiên, giống như bất kỳ mô hình tuyến tính nào.

Vui lòng tham khảo bài viết Học tập, Thích ứng và Tối ưu hóa SVM trên giấy , đề xuất một SVM trực tuyến để phân loại nhị phân.

Mã của bài báo trên có thể được tìm thấy ở đây . Trong mã, hai cách đào tạo trực tuyến được giới thiệu:

1. huấn luyện SVM tăng dần trên một ví dụ tại một thời điểm bằng cách gọi svmtrain()và
2. thực hiện đào tạo hàng loạt, tăng tất cả các ví dụ đào tạo vào giải pháp đồng thời bằng cách gọi svmtrain2().

Quay lại câu hỏi của bạn, câu trả lời rõ ràng là CÓ cho việc học trực tuyến một ví dụ tại một thời điểm. Và mã cũng có thể xử lý việc không học (loại bỏ) một ví dụ, tức là ước tính lỗi chính xác và gần đúng (LOO) - ước tính lỗi LOO chính xác có thể được tính toán một cách hiệu quả bằng cách bỏ chính xác một ví dụ tại một thời điểm và kiểm tra trình phân loại trên ví dụ

Học trực tuyến với Kernels thảo luận về học trực tuyến trong cài đặt kernel nói chung.

Trích từ tóm tắt -

"Các thuật toán dựa trên hạt nhân như máy vectơ hỗ trợ đã đạt được thành công đáng kể trong các vấn đề khác nhau trong cài đặt hàng loạt, nơi tất cả các dữ liệu đào tạo đều có sẵn. Các máy vectơ hỗ trợ kết hợp cái gọi là thủ thuật nhân với ý tưởng lề lớn. Sử dụng ít phương pháp này trong cài đặt trực tuyến phù hợp với các ứng dụng thời gian thực. Trong bài viết này, chúng tôi xem xét việc học trực tuyến trong Không gian tái tạo hạt nhân Hilbert. Bằng cách xem xét độ dốc ngẫu nhiên cổ điển trong không gian đặc trưng và sử dụng một số thủ thuật chuyển tiếp thẳng , chúng tôi phát triển các thuật toán đơn giản và hiệu quả về mặt tính toán cho một loạt các vấn đề như phân loại, hồi quy và phát hiện tính mới. "