Gradient Descent có thể cho các SVM được nhân (nếu vậy, tại sao mọi người sử dụng Lập trình bậc hai)?

21

Tại sao mọi người sử dụng các kỹ thuật lập trình bậc hai (như SMO) khi xử lý các SVM được nhân? Điều gì sai với Gradient Descent? Có thể sử dụng với hạt nhân hay nó quá chậm (và tại sao?).

Đây là một bối cảnh nhỏ hơn: cố gắng hiểu các SVM tốt hơn một chút, tôi đã sử dụng Gradient Descent để huấn luyện một trình phân loại SVM tuyến tính bằng cách sử dụng hàm chi phí sau:

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \mathbf{x}^{(i)} + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Tôi đang sử dụng các ký hiệu sau:

$\mathbf{w}$ là trọng số tính năng của mô hình và $b$ là tham số sai lệch của nó.
$\mathbf{x}^{(i)}$ làvectơ đặc trưng của trường hợp đào tạo $i^\text{th}$ .
$y^{(i)}$ là lớp đích (-1 hoặc 1) cho thể hiện $i^\text{th}$ .
$m$ là số lượng các trường hợp đào tạo.
$C$ là siêu tham số chính quy.

Tôi đã nhận được một vectơ gradient (phụ) (liên quan đến $\mathbf{w}$ và $b$ ) từ phương trình này và Gradient Descent hoạt động tốt.

Bây giờ tôi muốn giải quyết các vấn đề phi tuyến tính. Tôi chỉ có thể thay thế tất cả các sản phẩm chấm $\mathbf{u}^t \cdot \mathbf{v}$ bằng $K(\mathbf{u}, \mathbf{v})$ trong hàm chi phí, trong đó $K$ là hàm nhân (ví dụ: Gaussian RBF, $K(\mathbf{u}, \mathbf{v}) = e^{-\gamma \|\mathbf{u} - \mathbf{v}\|^2}$ ), sau đó sử dụng tính toán để đưa ra một (sub) vector gradient và đi trước với Gradient Descent?

Nếu nó quá chậm, tại sao vậy? Là hàm chi phí không lồi? Hoặc là do độ dốc thay đổi quá nhanh (không phải là Lipchitz liên tục) nên thuật toán tiếp tục nhảy qua các thung lũng trong quá trình hạ xuống, vì vậy nó hội tụ rất chậm? Nhưng thậm chí sau đó, làm thế nào nó có thể tồi tệ hơn sự phức tạp thời gian Quadratic Programming, mà là ? Nếu đó là vấn đề của cực tiểu địa phương, Stochastic GD với mô phỏng ủ có thể vượt qua chúng không? $O({n_\text{samples}}^2 \times n_\text{features})$

svm kernel-trick gradient-descent

— MiniQuark
nguồn

6

Đặt sao cho và , với , trong đó là ánh xạ của ma trận đầu vào ban đầu, $\mathbf w = \phi(\mathbf x)\cdot \mathbf u$ $\mathbf w^t \phi(\mathbf x)=\mathbf u^t \cdot \mathbf K$ $\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$ $\mathbf K = \phi(\mathbf x)^t\phi(\mathbf x)$ $\phi(x)$ $\mathbf x$ . Điều này cho phép một người giải quyết SVM thông qua công thức nguyên thủy. Sử dụng ký hiệu của bạn cho sự mất mát:

J (w, b) = C \sum_{i = 1}^{m} m a x (0, 1 - y^{(i)} (u^{t} \cdot K^{(i)} + b)) + \frac{1}{2} u^{t} \cdot K \cdot u

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{u}^t \cdot \mathbf{K}^{(i)} + b)\right)} + \dfrac{1}{2} \mathbf{u}^t \cdot \mathbf{K} \cdot \mathbf{u}$

là một ma trận, và là ma trận. Không phải là vô hạn. $\mathbf{K}$ $m \times m$ $\mathbf{u}$ $m \times 1$

Thật vậy, kép thường nhanh hơn để giải quyết, nhưng nguyên tắc cũng có những ưu điểm của nó, chẳng hạn như các giải pháp gần đúng (không được đảm bảo trong công thức kép).

Bây giờ, tại sao kép lại nổi bật hơn nhiều không rõ ràng: [1]

Những lý do lịch sử mà hầu hết các nghiên cứu trong thập kỷ qua là về tối ưu hóa kép là không rõ ràng . Chúng tôi tin rằng đó là do các SVM được giới thiệu lần đầu tiên trong công thức biên độ cứng [Boser et al., 1992], do đó tối ưu hóa kép (vì các ràng buộc) có vẻ tự nhiên hơn. Tuy nhiên, nói chung, các SVM lề mềm nên được ưu tiên, ngay cả khi dữ liệu huấn luyện có thể tách rời: ranh giới quyết định mạnh mẽ hơn vì có nhiều điểm đào tạo được tính đến [Chapelle et al., 2000]

Chapelle (2007) cho rằng độ phức tạp thời gian của cả tối ưu hóa nguyên thủy và tối ưu kép là , trường hợp xấu nhất là , nhưng họ đã phân tích tổn thất bản lề bậc hai và xấp xỉ mất bản lề, vì nó không khác biệt được sử dụng với phương pháp của Newton. $\mathcal{O}\left(nn_{sv} + n_{sv}^3\right)$ $\mathcal{O}\left(n^3\right)$

_{[1] Chapelle, O. (2007). Đào tạo một máy vectơ hỗ trợ trong nguyên thủy. Tính toán thần kinh, 19 (5), 1155-1178.}

— Bọ lửa
nguồn

1

+1 Bạn có thể mở rộng về độ phức tạp thời gian không

— seanv507

@ seanv507 cảm ơn, thực sự tôi nên giải quyết điều đó, tôi sẽ sớm cập nhật câu trả lời này.

— Firebug

4

Nếu chúng ta áp dụng các chuyển cho tất cả các vector trọng lượng đầu vào ( ), chúng tôi nhận được hàm chi phí sau đây: $\phi$ $\mathbf{x}^{(i)}$

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Này thay thế hạt nhân lừa bởi . Kể từ khi vector trọng số là không biến đổi, $\phi(\mathbf{u})^t \cdot \phi(\mathbf{v})$ $K(\mathbf{u}, \mathbf{v})$ $\mathbf{w}$ lừa hạt nhân không thể được áp dụng cho các hàm chi phí trên .

Hàm chi phí ở trên tương ứng với dạng nguyên thủy của mục tiêu SVM:

$\underset{\mathbf{w}, b, \mathbf{\zeta}}\min{C \sum\limits_{i=1}^m{\zeta^{(i)}} + \dfrac{1}{2}\mathbf{w}^t \cdot \mathbf{w}}$

tùy thuộc vào và với $y^{(i)}(\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b) \ge 1 - \zeta^{(i)})$ $\zeta^{(i)} \ge 0$ $i=1, \cdots, m$

Các hình thức kép là:

$\underset{\mathbf{\alpha}}\min{\dfrac{1}{2}\mathbf{\alpha}^t \cdot \mathbf{Q} \cdot \mathbf{\alpha} - \mathbf{1}^t \cdot \mathbf{\alpha}}$

tùy thuộc vào và cho $\mathbf{y}^t \cdot \mathbf{\alpha} = 0$ $0 \le \alpha_i \le C$ $i = 1, 2, \cdots, m$

$\mathbf{1}$ $\mathbf{Q}$ $m \times m$ $Q_{ij} = y^{(i)} y^{(j)} \phi(\mathbf{x}^{(i)})^t \cdot \phi(\mathbf{x}^{(j)})$ .

$Q_{ij}$

$Q_{ij} = y^{(i)} y^{(j)} K(\mathbf{x}^{(i)}, \mathbf{x}^{(j)})$

So the kernel trick can only be used on the dual form of the SVM problem (plus some other algorithms such as logistic regression).

Now you can use off-the-shelf Quadratic Programming libraries to solve this problem, or use Lagrangian multipliers to get an unconstrained function (the dual cost function), then search for a minimum using Gradient Descent or any other optimization technique. One of the most efficient approach seems to be the SMO algorithm implemented by the libsvm library (for kernelized SVM).

— MiniQuark
nguồn

1

I'm not sure why you marked your answer Community Wiki. This seems like a perfectly valid answer to your question.

— Sycorax says Reinstate Monica

Thanks @GeneralAbrial. I marked my answer as Community Wiki to avoid any suspicion that I knew the answer before asking the question.

— MiniQuark

1

You should always do what you think is right, but it's perfectly kosher to ask and answer your own question.

— Sycorax says Reinstate Monica

Wait, couldn't you transform the weight vector to

w = ϕ (x) \cdot u

$\mathbf w = \phi(x)\cdot \mathbf u$ so that

w^{t} ϕ (x) = u \cdot K

$\mathbf w^t \phi(x)=\mathbf u \cdot \mathbf K$ and

w^{t} w = u^{t} K u

$\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$ , with

K = ϕ^{t} ϕ

$\mathbf K = \phi^t\phi$ , and then optimize the sample weights

u

$\mathbf u$ ?

— Firebug

2

I might be wrong, but I don't see how we can replace the dot products with kernels without turning it into the dual problem.

The kernels map the input implicitly to some feature space where $x$ becomes $\phi(x)$ , the loss function then becomes
$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$
If Gaussian kernel is applied, $\phi(\mathbf{x}^{(i)})$ will have ifinite dimensions, so will $\mathbf{w}$ .

It seems difficult to optimize a vector of infinite dimensions using gradient descent directly.

Update
Firebug's answer gives a way of replacing the dot products with kernels in the primal formulation.

— dontloo
nguồn