Chính xác thì đến từ đâu trong ràng buộc vấn đề tối ưu hóa SVM?

Tôi đã hiểu rằng các SVM là nhị phân, phân loại tuyến tính (không có thủ thuật kernel). Họ có dữ liệu huấn luyện trong đó là một vectơ và là lớp. Vì chúng là nhị phân, các phân loại tuyến tính, nhiệm vụ là tìm một siêu phẳng ngăn cách các điểm dữ liệu với nhãn khỏi các điểm dữ liệu có nhãn .$(x_i, y_i)$$x_i$$y_i \in \{-1, 1\}$$-1$$+1$

Giả sử bây giờ, các điểm dữ liệu có thể phân tách tuyến tính và chúng ta không cần các biến chùng.

Bây giờ tôi đã đọc rằng vấn đề đào tạo bây giờ là vấn đề tối ưu hóa sau:

• ${\min_{w, b} \frac{1}{2} \|w\|^2}$
• st $y_i ( \langle w, x_i \rangle + b) \geq 1$

Tôi nghĩ rằng tôi đã thu được tối thiểu hóa $\|w\|^2$ có nghĩa là tối đa hóa lề (tuy nhiên, tôi không hiểu tại sao nó là hình vuông ở đây. Sẽ có gì thay đổi nếu ai đó cố gắng giảm thiểu $\|w\|$ ?).

Tôi cũng hiểu rằng $y_i ( \langle w, x_i \rangle + b) \geq 0$ có nghĩa là mô hình phải chính xác trên dữ liệu đào tạo. Tuy nhiên, có $1$ chứ không phải $0$ . Tại sao?

Vấn đề đầu tiên: Tối thiểu hóahoặc :$\|w\|$$\|w\|^2$

Đó là chính xác mà người ta muốn tối đa hóa lợi nhuận. Điều này thực sự được thực hiện bằng cách tối đa hóa . Đây sẽ là cách "chính xác" để làm điều đó, nhưng nó khá bất tiện. Trước tiên hãy bỏ , vì nó chỉ là một hằng số. Bây giờ nếu là tối đa,sẽ phải càng nhỏ càng tốt. Do đó, chúng ta có thể tìm ra giải pháp giống hệt nhau bằng cách giảm thiểu.$\frac{2}{\|w\|}$$2$$\frac{1}{\|w\|}$$\|w\|$ $\|w\|$

$\|w\|$có thể được tính bằng . Vì căn bậc hai là một hàm đơn điệu, bất kỳ điểm nào tối đa hóa cũng sẽ tối đa hóa . Để tìm điểm này do đó chúng ta không phải tính căn bậc hai và có thể giảm thiểu .$\sqrt{w^T w}$$x$$\sqrt{f(x)}$$f(x)$$x$$w^T w = \|w\|^2$

Cuối cùng, như chúng ta thường phải tính toán các đạo hàm, chúng ta nhân toàn bộ biểu thức với một thừa số . Điều này được thực hiện rất thường xuyên, bởi vì nếu chúng ta suy ra và do đó . Đây là cách chúng tôi kết thúc với vấn đề: thu nhỏ .$\frac{1}{2}$$\frac{d}{dx} x^2 = 2 x$$\frac{d}{dx} \frac{1}{2} x^2 = x$$\frac{1}{2} \|w\|^2$

tl; dr : có, giảm thiểuthay vì sẽ hoạt động.$\|w\|$$\frac{1}{2} \|w\|^2$

Vấn đề thứ hai: hoặc :$\geq 0$$\geq 1$

Như đã nêu trong câu hỏi, có nghĩa là điểm phải nằm ở phía bên phải của siêu phẳng. Tuy nhiên điều này là không đủ: chúng tôi muốn điểm ít nhất là càng xa lề (thì điểm đó là một vectơ hỗ trợ), hoặc thậm chí xa hơn.$y_i \left( \langle w,x_i \rangle + b \right) \geq 0$

Ghi nhớ định nghĩa của siêu phẳng,

$\mathcal{H} = \{ x \mid \langle w,x \rangle + b = 0\}$ .

Tuy nhiên, mô tả này không phải là duy nhất: nếu chúng ta chia tỷ lệ và theo hằng số , thì chúng ta sẽ có được một mô tả tương đương của siêu phẳng này. Để đảm bảo thuật toán tối ưu hóa của chúng tôi không chỉ chia tỷ lệ và theo các yếu tố không đổi để có biên độ cao hơn, chúng tôi xác định rằng khoảng cách của vectơ hỗ trợ từ siêu phẳng luôn là , tức là lề là . Do đó, một vectơ hỗ trợ được đặc trưng bởi .$w$$b$$c$$w$$b$$1$$\frac{1}{\|w\|}$$y_i \left( \langle w,x_i \rangle + b \right) = 1$

Như đã đề cập trước đó, chúng tôi muốn tất cả các điểm là một vectơ hỗ trợ, hoặc thậm chí xa hơn siêu phẳng. Do đó, trong đào tạo, chúng tôi thêm ràng buộc , đảm bảo chính xác điều đó.$y_i \left( \langle w,x_i \rangle + b \right) \geq 1$

tl; dr : Điểm đào tạo không chỉ cần chính xác, chúng phải ở ngoài lề hoặc xa hơn.