So sánh SVM và hồi quy logistic

Ai đó có thể vui lòng cho tôi một số trực giác khi nào nên chọn SVM hoặc LR không? Tôi muốn hiểu trực giác đằng sau sự khác biệt giữa các tiêu chí tối ưu hóa việc học siêu phẳng của hai người, trong đó các mục tiêu tương ứng như sau:

• SVM: Cố gắng tối đa hóa lề giữa các vectơ hỗ trợ gần nhất
• LR: Tối đa hóa xác suất của lớp sau

Hãy xem xét không gian tính năng tuyến tính cho cả SVM và LR.

Một số khác biệt tôi đã biết:

1. SVM mang tính xác định (nhưng chúng ta có thể sử dụng mô hình Platts cho điểm xác suất) trong khi LR có xác suất.
2. Đối với không gian kernel, SVM nhanh hơn (chỉ lưu trữ các vectơ hỗ trợ)

Các SVM tuyến tính và hồi quy logistic thường thực hiện tương đương trong thực tế. Sử dụng SVM với hạt nhân phi tuyến nếu bạn có lý do để tin rằng dữ liệu của bạn sẽ không thể phân tách tuyến tính (hoặc bạn cần mạnh mẽ hơn để vượt trội hơn so với LR thường chịu đựng). Mặt khác, chỉ cần thử hồi quy logistic trước và xem cách bạn làm với mô hình đơn giản hơn đó. Nếu hồi quy logistic làm bạn thất bại, hãy thử một SVM với hạt nhân phi tuyến tính như RBF.

CHỈNH SỬA:

Ok, hãy nói về nơi các chức năng khách quan đến từ đâu.

Hồi quy logistic xuất phát từ hồi quy tuyến tính tổng quát. Một cuộc thảo luận tốt về chức năng mục tiêu hồi quy logistic trong bối cảnh này có thể được tìm thấy ở đây: https://stats.stackexchange.com/a/29326/8451

Thuật toán Support Vector Machines có động lực hình học hơn nhiều . Thay vì giả định một mô hình xác suất, chúng tôi đang cố gắng tìm một siêu phẳng tách biệt tối ưu cụ thể, nơi chúng tôi xác định "sự tối ưu" trong bối cảnh của các vectơ hỗ trợ. Chúng ta không có gì giống với mô hình thống kê mà chúng ta sử dụng trong hồi quy logistic ở đây, mặc dù trường hợp tuyến tính sẽ cho chúng ta kết quả tương tự: thực sự điều này chỉ có nghĩa là hồi quy logistic thực hiện công việc phân loại "lề rộng" khá tốt, vì đó là tất cả các SVM đang cố gắng thực hiện (cụ thể, SVM đang cố gắng "tối đa hóa" lề giữa các lớp).

Tôi sẽ cố gắng quay lại vấn đề này sau và tìm hiểu sâu hơn một chút về cỏ dại, tôi chỉ sắp xếp một thứ gì đó: p

Hình ảnh biểu thị sự khác biệt giữa SVM và Hồi quy logistic và nơi sử dụng phương thức nào

bức tranh này xuất phát từ khóa học coursera: "machine learning" của Andrew NG. Nó có thể được tìm thấy trong tuần 7 ở cuối: "Hỗ trợ máy vectơ - sử dụng SVM"

• LR đưa ra các xác suất được hiệu chuẩn có thể được hiểu là sự tự tin trong một quyết định.
• LR cung cấp cho chúng tôi một mục tiêu trơn tru, không ràng buộc.
• LR có thể (đơn giản) được sử dụng trong các mô hình Bayes.
• Các SVM không phạt các ví dụ mà quyết định chính xác được đưa ra với độ tin cậy đủ. Điều này có thể tốt cho việc khái quát hóa.
• Các SVM có dạng kép đẹp, đưa ra các giải pháp thưa thớt khi sử dụng thủ thuật kernel (khả năng mở rộng tốt hơn)

Kiểm tra Support Vector Machines vs Logistic Regression, Đại học Toronto CSC2515 của Kevin Swersky.