Sự khác biệt giữa Máy Vector Hỗ trợ và Phân tích Phân biệt Tuyến tính là gì?
Câu trả lời:
LDA: Giả sử: dữ liệu thường được phân phối. Tất cả các nhóm được phân phối giống hệt nhau, trong trường hợp các nhóm có ma trận hiệp phương sai khác nhau, LDA trở thành Phân tích phân biệt đối xử bậc hai. LDA là phân biệt đối xử tốt nhất có sẵn trong trường hợp tất cả các giả định thực sự được đáp ứng. QDA, nhân tiện, là một phân loại phi tuyến tính.
SVM: Tổng quát hóa Siêu phẳng tách biệt tối ưu (OSH). OSH giả định rằng tất cả các nhóm hoàn toàn có thể tách rời, SVM sử dụng một "biến chùng" cho phép một số lượng chồng chéo nhất định giữa các nhóm. SVM không đưa ra giả định nào về dữ liệu, có nghĩa đây là một phương pháp rất linh hoạt. Mặt khác, tính linh hoạt thường khiến việc giải thích kết quả từ trình phân loại SVM trở nên khó khăn hơn so với LDA.
Phân loại SVM là một vấn đề tối ưu hóa, LDA có một giải pháp phân tích. Vấn đề tối ưu hóa cho SVM có công thức kép và nguyên thủy cho phép người dùng tối ưu hóa số lượng điểm dữ liệu hoặc số lượng biến, tùy thuộc vào phương pháp nào khả thi nhất về mặt tính toán. SVM cũng có thể sử dụng các hạt nhân để chuyển đổi phân loại SVM từ phân loại tuyến tính thành phân loại phi tuyến tính. Sử dụng công cụ tìm kiếm yêu thích của bạn để tìm kiếm 'Thủ thuật hạt nhân SVM' để xem cách SVM sử dụng hạt nhân để biến đổi không gian tham số.
LDA sử dụng toàn bộ tập dữ liệu để ước tính ma trận hiệp phương sai và do đó có phần dễ bị ngoại lệ. SVM được tối ưu hóa trên một tập hợp con của dữ liệu, đó là những điểm dữ liệu nằm trên lề tách biệt. Các điểm dữ liệu được sử dụng để tối ưu hóa được gọi là các vectơ hỗ trợ, bởi vì chúng xác định cách phân biệt SVM giữa các nhóm và do đó hỗ trợ phân loại.
Theo như tôi biết, SVM không thực sự phân biệt tốt giữa hơn hai lớp. Một thay thế mạnh mẽ ngoại lệ là sử dụng phân loại logistic. LDA xử lý tốt một số lớp, miễn là các giả định được đáp ứng. Mặc dù vậy, tôi tin rằng (cảnh báo: tuyên bố vô căn cứ) rằng một số điểm chuẩn cũ cho thấy LDA thường hoạt động khá tốt trong nhiều trường hợp và LDA / QDA thường là phương pháp goto trong phân tích ban đầu.
Tóm lại: LDA và SVM có rất ít điểm chung. May mắn thay, cả hai đều rất hữu ích.
SVM chỉ tập trung vào các điểm khó phân loại, LDA tập trung vào tất cả các điểm dữ liệu. Những điểm khó như vậy gần với ranh giới quyết định và được gọi là Vectơ hỗ trợ . Ranh giới quyết định có thể là tuyến tính, nhưng cũng có thể là hạt nhân RBF hoặc hạt nhân đa thức. Trong đó LDA là một phép biến đổi tuyến tính để tối đa hóa khả năng phân tách.
LDA giả định rằng các điểm dữ liệu có cùng hiệp phương sai và mật độ xác suất được giả sử là được phân phối bình thường. SVM không có giả định như vậy.
LDA là khái quát, SVM là phân biệt đối xử.
Các máy vectơ hỗ trợ tìm một dấu phân cách tuyến tính (kết hợp tuyến tính, siêu phẳng) phân tách các lớp có ít lỗi nhất và chọn dấu phân cách có lề tối đa (chiều rộng có thể tăng ranh giới trước khi nhấn điểm dữ liệu).
Ví dụ, phân tách tuyến tính nào phân tách tốt nhất các lớp?
Cái có lề tối đa:
Phân tích phân biệt tuyến tính tìm các vectơ trung bình của mỗi lớp, sau đó tìm hướng chiếu (xoay) tối đa hóa phân tách phương tiện:
Nó cũng tính đến phương sai trong lớp để tìm một phép chiếu giúp giảm thiểu sự chồng chéo của các bản phân phối (hiệp phương sai) trong khi tối đa hóa việc phân tách các phương tiện:
