Hỗ trợ máy vectơ và hồi quy

26

Đã có một cuộc thảo luận tuyệt vời về cách các máy vectơ hỗ trợ xử lý phân loại, nhưng tôi rất bối rối về cách các máy vectơ hỗ trợ khái quát hóa cho hồi quy.

Co ai quan tâm dạy dô tôi chư?

regression machine-learning svm

— Zach
nguồn

17

Về cơ bản họ khái quát theo cùng một cách. Cách tiếp cận dựa trên nhân cho hồi quy là biến đổi tính năng, gọi nó là đến một không gian vectơ nào đó, sau đó thực hiện hồi quy tuyến tính trong không gian vectơ đó. Để tránh "lời nguyền của chiều", hồi quy tuyến tính trong không gian biến đổi có phần khác so với bình phương tối thiểu thông thường. Kết quả là các hồi quy trong không gian chuyển đổi có thể được diễn tả như , nơi là quan sát từ tập huấn luyện, $\mathbf{x}$ $\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$ $\mathbf{x_i}$ $\phi(\cdot)$ là biến đổi áp dụng cho dữ liệu, và các dấu chấm là dấu chấm sản phẩm. Do đó, hồi quy tuyến tính được 'hỗ trợ' bởi một vài vectơ đào tạo (tốt nhất là rất ít).

Tất cả các chi tiết toán học được ẩn trong hồi quy lạ thực hiện trong không gian chuyển đổi ( 'ống epsilon-insensitive' hoặc bất cứ điều gì) và sự lựa chọn của biến đổi, . Đối với một học viên, cũng có những câu hỏi về một vài tham số miễn phí (thường là trong định nghĩa của và hồi quy), cũng như kỳ công , đó là nơi kiến thức miền thường hữu ích. $\phi$ $\phi$

— shabbychef
nguồn

Từ quan điểm trực giác, đây có giống như phân loại một lớp hay không, nơi đường "ranh giới" của lớp kết thúc chạy qua các điểm thay vì giữa các điểm của hai lớp?

— Wayne

@Wayne, đó là sự hiểu biết của tôi, vâng. Tôi không phải là 100%, tuy nhiên.

— Zach

5

Để biết tổng quan về SVM: Máy Vector Hỗ trợ (SVM) hoạt động như thế nào?

Về hồi quy vectơ hỗ trợ (SVR), tôi thấy các slide này từ http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( gương ) rất rõ ràng:

Tài liệu Matlab cũng có một lời giải thích hợp lý và cũng đi sâu hơn vào thuật toán giải quyết tối ưu hóa: https://www.mathworks.com/help/stats/under Hiểu-support-vector-machine-regression.html ( gương ).

Cho đến nay câu trả lời này đã trình bày cái gọi là hồi quy SVM (-SVM) không nhạy cảm với epsilon. Tồn tại một biến thể gần đây hơn của SVM để phân loại hồi quy: Least squares hỗ trợ máy vectơ .

Ngoài ra, SVR có thể được mở rộng cho đa đầu ra hay đa mục tiêu, ví dụ, xem {1}.

Tài liệu tham khảo:

{1} Borchani, Hanen, Gherardo Varando, Concha Bielza và Pedro Larrañaga. "Một cuộc khảo sát về hồi quy đa đầu ra." Đánh giá liên ngành của Wiley: Khai thác dữ liệu và khám phá kiến thức 5, không. 5 (2015): 216-233. https://scholar.google.com/scholar?cluster=10208375872303977988&hl=vi&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf

— Franck Dernoncourt
nguồn