Làm thế nào để hỗ trợ hồi quy vector hoạt động trực giác?

Tất cả các ví dụ về SVM đều liên quan đến phân loại. Tôi không hiểu làm thế nào một SVM cho hồi quy (hồi quy vector hỗ trợ) có thể được sử dụng trong hồi quy.

Theo hiểu biết của tôi, một SVM tối đa hóa lề giữa hai lớp để tìm siêu phẳng tối ưu. Làm thế nào điều này có thể làm việc trong một vấn đề hồi quy?

Tóm lại: Tối đa hóa lề có thể được xem là thường xuyên hóa giải pháp bằng cách giảm thiểu (về cơ bản là giảm thiểu độ phức tạp của mô hình), điều này được thực hiện cả trong phân loại và hồi quy. Nhưng trong trường hợp phân loại, việc tối thiểu hóa này được thực hiện trong điều kiện tất cả các ví dụ được phân loại chính xác và trong trường hợp hồi quy với điều kiện giá trị của tất cả các ví dụ sai lệch ít hơn độ chính xác cần thiết từ cho hồi quy .y ϵ f ( x $w$$y$$\epsilon$$f(x)$

Để hiểu cách bạn đi từ phân loại đến hồi quy, sẽ giúp xem cả hai trường hợp áp dụng cùng một lý thuyết SVM để hình thành vấn đề như một vấn đề tối ưu hóa lồi. Tôi sẽ thử đặt cả hai bên cạnh nhau.

(Tôi sẽ bỏ qua các biến chùng cho phép phân loại sai và sai lệch trên độ chính xác )$\epsilon$

Phân loại

Trong trường hợp này, mục tiêu là tìm một hàm trong đó cho các ví dụ tích cực và cho các ví dụ tiêu cực. Trong các điều kiện này, chúng tôi muốn tối đa hóa lề (khoảng cách giữa 2 thanh màu đỏ), không gì khác hơn là giảm thiểu đạo hàm của .f ( x ) ≥ 1 f ( x ) ≤ - 1 f ' = $f(x)= wx +b$$f(x) \geq 1$$f(x) \leq -1$$f'=w$

Trực giác đằng sau tối đa hóa lợi nhuận là điều này sẽ cho chúng ta một giải pháp duy nhất cho vấn đề tìm (ví dụ chúng ta loại bỏ đường màu xanh) và giải pháp này là chung nhất trong các điều kiện này, tức là nó hoạt động như một quy tắc . Điều này có thể được nhìn thấy, xung quanh ranh giới quyết định (nơi các đường màu đỏ và đen giao nhau) độ không đảm bảo phân loại là lớn nhất và chọn giá trị thấp nhất cho trong khu vực này sẽ mang lại giải pháp chung nhất.f ( x $f(x)$$f(x)$

Các điểm dữ liệu tại 2 thanh màu đỏ là các vectơ hỗ trợ trong trường hợp này, chúng tương ứng với các số nhân Lagrange khác không của phần bằng của các điều kiện bất đẳng thức vàf ( x ) ≤ - $f(x) \geq 1$$f(x) \leq -1$

hồi quy

Trong trường hợp này, mục tiêu là tìm hàm (đường màu đỏ) với điều kiện nằm trong độ chính xác bắt buộc từ giá trị (thanh màu đen) của mọi điểm dữ liệu, nghĩa là trong đó là khoảng cách giữa đường màu đỏ và màu xám. Trong điều kiện này, một lần nữa chúng tôi muốn giảm thiểu , một lần nữa vì lý do chính quy hóa và để có được một giải pháp duy nhất là kết quả của vấn đề tối ưu hóa lồi. Người ta có thể thấy cách tối thiểu hóa dẫn đến trường hợp tổng quát hơn vì giá trị cực trị của$f(x)= wx +b$$f(x)$$\epsilon$$y(x)$$|y(x) -f(x)|\leq \epsilon$$epsilon$$f'(x)=w$$w$$w=0$ sẽ có nghĩa là không có mối quan hệ chức năng nào là kết quả chung nhất mà người ta có thể thu được từ dữ liệu.

Các điểm dữ liệu tại 2 thanh màu đỏ là các vectơ hỗ trợ trong trường hợp này, chúng tương ứng với các số nhân Lagrange khác không của phần bằng của điều kiện bất đẳng thức .$|y -f(x)|\leq \epsilon$

Phần kết luận

Cả hai trường hợp dẫn đến vấn đề sau:

Trong điều kiện:

• Tất cả các ví dụ được phân loại chính xác (Phân loại)
• Giá trị của tất cả các ví dụ sai lệch ít hơn so với . (Hồi quy)ϵ f ( x $y$$\epsilon$$f(x)$

Trong SVM cho vấn đề phân loại, chúng tôi thực sự cố gắng tách lớp càng xa càng tốt khỏi đường phân cách (Siêu phẳng) và không giống như hồi quy logistic, chúng tôi tạo ranh giới an toàn từ cả hai phía của siêu phẳng (khác nhau giữa hồi quy logistic và phân loại SVM nằm trong thiếu chức năng). Cuối cùng, có một điểm dữ liệu khác nhau càng xa càng tốt từ siêu phẳng.

Trong SVM cho bài toán hồi quy, Chúng tôi muốn điều chỉnh mô hình để dự đoán số lượng cho tương lai. Do đó, chúng tôi muốn điểm dữ liệu (quan sát) càng gần càng tốt với siêu phẳng không giống như SVM để phân loại. Hồi quy SVM được thừa hưởng từ Hồi quy đơn giản như (Bình phương tối thiểu thông thường) bởi sự khác biệt này mà chúng tôi xác định phạm vi epsilon từ cả hai phía của siêu phẳng để làm cho hàm hồi quy không nhạy cảm với lỗi không giống như SVM để phân loại mà chúng tôi xác định ranh giới là an toàn để thực hiện quyết định trong tương lai (dự đoán). Cuối cùng,