Sự khác biệt giữa hồi quy logistic và máy vectơ hỗ trợ?

Tôi biết rằng hồi quy logistic tìm thấy một siêu phẳng ngăn cách các mẫu đào tạo. Tôi cũng biết rằng các máy vectơ hỗ trợ tìm thấy siêu phẳng với lề tối đa.

Câu hỏi của tôi: sự khác biệt giữa hồi quy logistic (LR) và máy vectơ hỗ trợ (SVM) là LR tìm thấy bất kỳ siêu phẳng nào phân tách các mẫu đào tạo trong khi SVM tìm thấy siêu phẳng có lề tối đa? Hoặc là tôi sai?

Lưu ý: nhớ lại rằng trong LR khi thì hàm logistic cho 0,5 . Nếu chúng ta giả định 0,5 như một ngưỡng phân loại, sau đó q ⋅ x = 0 là một siêu phẳng hoặc một ranh giới quyết định.$\theta \cdot x = 0$$0.5$$0.5$$\theta \cdot x = 0$

Bạn đã đúng nếu bạn đang nói về SVM cứng và hai lớp có thể phân tách tuyến tính. LR tìm thấy bất kỳ giải pháp nào tách hai lớp. Hard SVM tìm thấy "giải pháp" trong số tất cả những giải pháp có thể có biên độ tối đa.

Trong trường hợp SVM mềm và các lớp không thể phân tách tuyến tính, bạn vẫn đúng với một sửa đổi nhỏ. Các lỗi không thể trở thành số không. LR tìm thấy một siêu phẳng tương ứng với việc giảm thiểu một số lỗi. Soft SVM cố gắng giảm thiểu lỗi (một lỗi khác) và đồng thời xử lý lỗi đó với lề thông qua tham số chính quy.

Một điểm khác biệt giữa hai loại: SVM là phân loại cứng nhưng LR là phân loại xác suất. SVM còn thưa thớt. Nó chọn các vectơ hỗ trợ (từ các mẫu đào tạo) có sức mạnh phân biệt đối xử nhất giữa hai lớp. Vì nó không giữ các điểm đào tạo khác ngoài thời điểm thử nghiệm, chúng tôi không có bất kỳ ý tưởng nào về việc phân phối của bất kỳ hai lớp nào.

Tôi đã giải thích cách giải pháp LR (sử dụng IRLS) phá vỡ trong trường hợp phân tách tuyến tính của hai lớp và lý do tại sao nó dừng là phân loại xác suất trong trường hợp như vậy: /stats//a/133292/66491