Mối quan hệ giữa mất SVM và bản lề là gì?

Đồng nghiệp của tôi và tôi đang cố gắng che giấu sự khác biệt giữa hồi quy logistic và SVM. Rõ ràng họ đang tối ưu hóa các chức năng khách quan khác nhau. Là một SVM đơn giản như nói nó là một phân loại phân biệt đối xử chỉ đơn giản là tối ưu hóa mất bản lề? Hay nó phức tạp hơn thế? Làm thế nào để các vectơ hỗ trợ đi vào chơi? Còn các biến chùng thì sao? Tại sao bạn không có SVM sâu theo cách bạn không thể có một mạng lưới thần kinh sâu với các chức năng kích hoạt sigmoid?

Cả hai đều là mô hình phân biệt đối xử, vâng. Hàm mất hồi quy logistic về mặt khái niệm là một hàm của tất cả các điểm. Các điểm được phân loại chính xác thêm rất ít vào hàm mất, thêm nhiều hơn nếu chúng ở gần ranh giới. Do đó, các điểm gần ranh giới quan trọng hơn đối với sự mất mát và do đó quyết định mức độ tốt của ranh giới.

SVM sử dụng mất bản lề, về mặt khái niệm đặt trọng tâm vào các điểm biên. Bất cứ điều gì xa hơn các điểm gần nhất đều không đóng góp gì cho sự mất mát vì "bản lề" (tối đa) trong hàm. Những điểm gần nhất là các vectơ hỗ trợ, đơn giản. Do đó, nó thực sự giảm để chọn một ranh giới tạo ra lề lớn nhất - khoảng cách đến điểm gần nhất. Lý thuyết là trường hợp ranh giới là tất cả những gì thực sự quan trọng để khái quát hóa.

Nhược điểm là mất bản lề không có gì khác biệt, nhưng điều đó chỉ có nghĩa là cần nhiều toán học hơn để khám phá cách tối ưu hóa nó thông qua hệ số nhân Lagrange. Nó không thực sự xử lý trường hợp dữ liệu không thể phân tách tuyến tính. Biến Slack là một mẹo cho phép khả năng này được kết hợp hoàn toàn vào vấn đề tối ưu hóa.

Bạn có thể sử dụng mất bản lề với "học sâu", ví dụ: http://arxiv.org/pdf/1306.0239.pdf