Mô hình thống kê đằng sau thuật toán SVM là gì?

Tôi đã học được rằng, khi xử lý dữ liệu bằng cách sử dụng phương pháp dựa trên mô hình, bước đầu tiên là mô hình hóa thủ tục dữ liệu dưới dạng mô hình thống kê. Sau đó, bước tiếp theo là phát triển thuật toán học / suy luận nhanh / hiệu quả dựa trên mô hình thống kê này. Vì vậy, tôi muốn hỏi mô hình thống kê nào đứng sau thuật toán máy vectơ hỗ trợ (SVM)?

Bạn thường có thể viết một mô hình tương ứng với hàm mất (ở đây tôi sẽ nói về hồi quy SVM thay vì phân loại SVM; nó đặc biệt đơn giản)

Ví dụ: trong mô hình tuyến tính, nếu hàm mất của bạn là thì tối thiểu hóa sẽ tương ứng với khả năng tối đa cho . (Ở đây tôi có một hạt nhân tuyến tính)f ∝ exp ( - $\sum_i g(\varepsilon_i) = \sum_i g(y_i-x_i'\beta)$= exp ( - $f\propto \exp(-a\,g(\varepsilon))$ $= \exp(-a\,g(y-x'\beta))$

Nếu tôi nhớ chính xác hồi quy SVM có hàm mất như thế này:

Điều đó tương ứng với mật độ đồng nhất ở giữa với các đuôi theo cấp số nhân (như chúng ta thấy bằng cách lũy thừa âm của nó, hoặc một số bội số âm của nó).

Có một nhóm 3 tham số gồm: vị trí góc (ngưỡng không nhạy cảm tương đối) cộng với vị trí và tỷ lệ.

Đó là một mật độ thú vị; Nếu tôi nhớ lại chính xác khi nhìn vào phân phối cụ thể đó vài thập kỷ trước, một công cụ ước tính tốt cho vị trí của nó là trung bình của hai lượng tử được đặt đối xứng tương ứng với vị trí của các góc (ví dụ: midriale sẽ đưa ra xấp xỉ tốt cho MLE cho một cụ thể sự lựa chọn của hằng số trong tổn thất SVM); một công cụ ước tính tương tự cho tham số tỷ lệ sẽ dựa trên sự khác biệt của chúng, trong khi tham số thứ ba về cơ bản tương ứng với việc tìm ra tỷ lệ phần trăm của các góc (điều này có thể được chọn thay vì ước tính như thường thấy đối với SVM).

Vì vậy, ít nhất đối với hồi quy SVM có vẻ khá đơn giản, ít nhất là nếu chúng ta chọn lấy ước tính của mình theo khả năng tối đa.

(Trong trường hợp bạn sắp hỏi ... Tôi không có tài liệu tham khảo nào về kết nối cụ thể này với SVM: Bây giờ tôi mới làm việc đó. Thật đơn giản, tuy nhiên, hàng chục người sẽ giải quyết nó trước tôi nên không nghi ngờ gì nữa có là tài liệu tham khảo cho nó - tôi vừa mới chưa bao giờ thấy bất kỳ).

Tôi nghĩ rằng ai đó đã trả lời câu hỏi theo nghĩa đen của bạn, nhưng hãy để tôi làm sáng tỏ một sự nhầm lẫn tiềm ẩn.

Câu hỏi của bạn có phần giống như sau:

$f(x) = \ldots$

Nói cách khác, nó chắc chắn có một câu trả lời hợp lệ (thậm chí là một câu trả lời duy nhất nếu bạn áp đặt các ràng buộc về tính đều đặn), nhưng đó là một câu hỏi khá lạ, vì nó không phải là một phương trình vi phân làm phát sinh hàm đó ngay từ đầu.
(Mặt khác, với phương trình vi phân, việc hỏi giải pháp của nó là điều tự nhiên, vì đó thường là lý do tại sao bạn viết phương trình!)

Dưới đây là lý do: Tôi nghĩ rằng bạn đang nghĩ đến việc xác suất / thống kê từ các hãng cụ thể, sinh sản và phân biệt các mô hình, dựa trên ước tính xác suất doanh và điều kiện từ dữ liệu.

Các SVM là không. Đó là một kiểu hoàn toàn khác của mô hình mà một người bỏ qua những người đó và cố gắng trực tiếp mô hình hóa ranh giới quyết định cuối cùng, xác suất bị nguyền rủa.

Vì đó là về việc tìm ra hình dạng của ranh giới quyết định, trực giác đằng sau nó là hình học (hoặc có lẽ chúng ta nên nói dựa trên tối ưu hóa) chứ không phải xác suất hoặc thống kê.

Do đó, xác suất không thực sự được xem xét ở mọi nơi trên đường đi, nên việc hỏi một mô hình xác suất tương ứng có thể là gì, và đặc biệt là vì toàn bộ mục tiêu là để tránh phải lo lắng về xác suất. Do đó tại sao bạn không thấy mọi người nói về họ.