Tôi đã đọc về các SVM và được biết rằng họ đang giải quyết một vấn đề tối ưu hóa và ý tưởng lề tối đa là rất hợp lý.
Bây giờ, bằng cách sử dụng hạt nhân, họ có thể tìm thấy các ranh giới phân tách phi tuyến tính, điều này thật tuyệt vời.
Cho đến nay, tôi thực sự không biết làm thế nào các SVM (một máy nhân đặc biệt) và các máy kernel có liên quan đến các mạng thần kinh?
Hãy xem xét các ý kiến của Yann Lecun => tại đây :
kernel methods were a form of glorified template matching
và ở đây nữa :
Ví dụ, một số người bị lóa mắt bởi các phương thức kernel vì phép toán dễ thương đi cùng với nó. Nhưng, như tôi đã nói trước đây, cuối cùng, các máy kernel là các mạng nông thực hiện khuôn mẫu được tôn vinh phù hợp với J. Không có gì sai với điều đó (SVM là một phương pháp tuyệt vời), nhưng nó có những hạn chế nghiêm trọng mà tất cả chúng ta nên nhận thức được.
Vì vậy, câu hỏi của tôi là:
- SVM liên quan đến mạng lưới thần kinh như thế nào? Làm thế nào nó là một mạng nông?
- SVM giải quyết vấn đề tối ưu hóa với hàm mục tiêu được xác định rõ, làm thế nào để thực hiện khớp mẫu? Mẫu ở đây mà đầu vào được khớp là gì?
Tôi đoán những nhận xét này cần có sự hiểu biết thấu đáo về không gian chiều cao, mạng lưới thần kinh và máy hạt nhân nhưng cho đến nay tôi đã cố gắng và không thể nắm bắt được logic đằng sau nó. Nhưng chắc chắn là rất thú vị khi lưu ý các kết nối giữa hai kỹ thuật ml rất khác nhau.
EDIT: Tôi nghĩ rằng việc hiểu các SVM từ góc độ thần kinh sẽ là tuyệt vời. Tôi đang tìm kiếm một câu trả lời thấu đáo về toán học cho hai câu hỏi trên, để thực sự hiểu được mối liên kết giữa SVM và Neural Nets, cả trong trường hợp SVM tuyến tính và SVM với thủ thuật kernel.