Làm thế nào để Máy Vector Hỗ trợ (SVM) hoạt động và những gì khác biệt với các phân loại tuyến tính khác, chẳng hạn như Perceptionron tuyến tính , Phân tích phân biệt tuyến tính hoặc Hồi quy logistic ? *

(* Tôi đang suy nghĩ về các động lực cơ bản cho thuật toán, chiến lược tối ưu hóa, khả năng khái quát hóa và độ phức tạp của thời gian chạy )

Các máy vectơ hỗ trợ chỉ tập trung vào các điểm khó phân biệt nhất, trong khi các phân loại khác chú ý đến tất cả các điểm.

Trực giác đằng sau cách tiếp cận máy vectơ hỗ trợ là nếu một trình phân loại tốt trong các phép so sánh thách thức nhất (các điểm trong B và A gần nhau nhất trong Hình 2), thì trình phân loại sẽ còn tốt hơn khi so sánh dễ dàng ( so sánh các điểm trong B và A cách xa nhau).

Perceptionron và các phân loại khác:

Perceptionron được xây dựng bằng cách lấy một điểm tại một thời điểm và điều chỉnh đường phân chia cho phù hợp. Ngay khi tất cả các điểm được tách ra, thuật toán perceptron dừng lại. Nhưng nó có thể dừng ở bất cứ đâu. Hình 1 cho thấy có một loạt các đường phân chia khác nhau phân tách dữ liệu. Tiêu chí dừng của perceptron rất đơn giản: "tách các điểm và ngừng cải thiện đường khi bạn tách 100%". Các perceptron không được nói rõ ràng để tìm dòng tách tốt nhất. Hồi quy logistic và mô hình phân biệt tuyến tính được xây dựng tương tự như perceptionron.

Đường phân chia tốt nhất tối đa hóa khoảng cách giữa các điểm B gần nhất với A và các điểm A gần nhất với B. Không cần thiết phải xem xét tất cả các điểm để thực hiện việc này. Trong thực tế, việc kết hợp thông tin phản hồi từ các điểm ở xa có thể vượt quá giới hạn một chút, như được thấy dưới đây.

Hỗ trợ máy Vector:

Không giống như các phân loại khác, máy vectơ hỗ trợ được thông báo rõ ràng để tìm dòng phân tách tốt nhất. Làm sao? Máy vectơ hỗ trợ tìm kiếm các điểm gần nhất (Hình 2), được gọi là "vectơ hỗ trợ" (tên "máy vectơ hỗ trợ" là do thực tế là các điểm giống như vectơ và dòng tốt nhất "phụ thuộc vào" hoặc được "hỗ trợ bởi" các điểm gần nhất).

Khi đã tìm thấy các điểm gần nhất, SVM vẽ một đường nối chúng (xem dòng có nhãn 'w' trong Hình 2). Nó vẽ đường kết nối này bằng cách thực hiện phép trừ vector (điểm A - điểm B). Sau đó, máy vectơ hỗ trợ khai báo đường phân cách tốt nhất là đường chia đôi - và vuông góc với - đường kết nối.

Máy vectơ hỗ trợ tốt hơn bởi vì khi bạn lấy một mẫu mới (điểm mới), bạn sẽ tạo một dòng giữ B và A càng xa nhau càng tốt, và do đó ít có khả năng một người sẽ tràn qua dòng vào lãnh thổ của người khác.

Tôi coi mình là một người học trực quan và tôi đã vật lộn với trực giác đằng sau các máy vectơ hỗ trợ trong một thời gian dài. Bài báo có tên Duality và Geometry trong SVM Classifier cuối cùng đã giúp tôi nhìn thấy ánh sáng; đó là nơi tôi có được những hình ảnh từ đó

Câu trả lời của Ryan Zotti giải thích động lực đằng sau việc tối đa hóa ranh giới quyết định, câu trả lời của carlosdc đưa ra một số điểm tương đồng và khác biệt đối với các phân loại khác. Tôi sẽ đưa ra câu trả lời này một tổng quan toán học ngắn gọn về cách các SVM được đào tạo và sử dụng.

Ký hiệu

Sau đây, vô hướng được biểu thị bằng chữ in nghiêng (ví dụ: $y,\, b$ ), vectơ có chữ thường in đậm (ví dụ:$\mathbf{w},\, \mathbf{x}$ ) và ma trận với chữ hoa in nghiêng (ví dụ:$W$ ). $\mathbf{w^T}$ là transpose của$\mathbf{w}$ , và$\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$ .

Để cho:

• $\mathbf{x}$ là một vectơ đặc trưng (nghĩa là đầu vào của SVM). $\mathbf{x} \in \mathbb{R}^n$ , trong đó$n$ là kích thước của vectơ đặc trưng.
• $y$ là lớp (nghĩa là đầu ra của SVM). $y \in \{ -1,1\}$ , tức là nhiệm vụ phân loại là nhị phân.
• $\mathbf{w}$ và$b$ là các tham số của SVM: chúng ta cần học chúng bằng cách sử dụng tập huấn luyện.
• $(\mathbf{x}^{(i)}, y^{(i)})$ làmẫu thứ$i^ {\text {th}}$ trong bộ dữ liệu. Giả sử chúng ta có$N$ mẫu trong tập huấn luyện.

Với $n=2$ , người ta có thể biểu thị ranh giới quyết định của SVM như sau:

Lớp $y$ được xác định như sau:

$$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$$

mà có thể được chính xác hơn bằng văn bản như $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$ .

Mục tiêu

SVM nhằm đáp ứng hai yêu cầu:

1. SVM nên tối đa hóa khoảng cách giữa hai ranh giới quyết định. Về mặt toán học, điều này có nghĩa là chúng tôi muốn tối đa hóa khoảng cách giữa siêu phẳng được xác định bởi $\mathbf{w^T}\mathbf{x}+b = -1$ và siêu phẳng được xác định bởi $\mathbf{w^T}\mathbf{x}+b = 1$ . Khoảng cách này bằng $\frac{2}{\|\mathbf{w}\|}$ . Điều này có nghĩa chúng ta muốn giải quyết$\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$ . Tương chúng tôi muốn $\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$ .

2. Các SVM cũng nên phân loại một cách chính xác tất cả các $\mathbf{x}^{(i)}$ , có nghĩa là $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

Điều này dẫn chúng ta đến vấn đề tối ưu hóa bậc hai sau:

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$$

Đây là SVM lề cứng , vì bài toán tối ưu hóa bậc hai này thừa nhận một giải pháp nếu dữ liệu có thể phân tách tuyến tính.

Người ta có thể thư giãn các hạn chế bằng cách giới thiệu cái gọi là biến slack $\xi^{(i)}$ . Lưu ý rằng mỗi mẫu của tập huấn luyện có biến chùng riêng. Điều này cho chúng ta vấn đề tối ưu hóa bậc hai sau:

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Đây là SVM lề mềm . $C$ là một siêu tham số được gọi là hình phạt của thuật ngữ lỗi . ( Ảnh hưởng của C trong SVM với kernel tuyến tính là gì và phạm vi tìm kiếm nào để xác định tham số tối ưu SVM? ).

Người ta có thể thêm linh hoạt hơn bằng cách giới thiệu một hàm $\phi$ mà các bản đồ không gian đặc trưng ban đầu đến một không gian đặc trưng nhiều chiều hơn. Điều này cho phép ranh giới quyết định phi tuyến tính. Vấn đề tối ưu hóa bậc hai trở thành:

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Tối ưu hóa

Vấn đề tối ưu hóa bậc hai có thể được chuyển thành một vấn đề tối ưu hóa khác có tên là bài toán kép Lagrangian (bài toán trước được gọi là số nguyên tố ):

$$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

Vấn đề tối ưu hóa này có thể được đơn giản hóa (bằng cách đặt một số độ dốc thành $0$ ) thành:

$$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

$\mathbf{w}$ không xuất hiện dưới dạng$\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$ (như đã nêu trongđịnh lý representer).

Do đó, chúng tôi tìm hiểu các giá trị $\alpha^{(i)}$ bằng cách sử dụng $(\mathbf{x}^{(i)}, y^{(i)})$ của tập huấn luyện.

(FYI: Tại sao phải bận tâm với vấn đề kép khi lắp SVM? Câu trả lời ngắn: tính toán nhanh hơn + cho phép sử dụng thủ thuật kernel, mặc dù vẫn tồn tại một số phương pháp tốt để đào tạo SVM trong primal, ví dụ, xem {1})

Dự đoán

Khi $\alpha^{(i)}$ đang học, người ta có thể dự đoán lớp của một mẫu mới với các tính năng vector $\mathbf{x}^{\text {test}}$ như sau:

$$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$$

Tổng kết $\sum_{i =1}^{N}$ có thể có vẻ áp đảo, vì nó có nghĩa là người ta phải tổng hợp trên tất cả các mẫu huấn luyện, nhưng đại đa số$\alpha^{(i)}$ là$0$ (xemTại sao các nhân tử Lagrange thưa thớt cho SVMs?) Nên trong thực tế nó không phải là một vấn đề (lưu ý rằngngười ta có thể xây dựng các trường hợp đặc biệt trong đó tất cả các giá trị$\alpha^{{(i)}} > 0$ )$\alpha^{{(i)}}=0$ iff$x^{{(i)}}$ là mộtvectơ hỗ trợ. Hình minh họa ở trên có 3 vectơ hỗ trợ.

Thủ thuật hạt nhân

Người ta có thể quan sát rằng vấn đề tối ưu hóa sử dụng $\phi\left(\mathbf{x}^{(i)}\right)$ chỉ trong sản phẩm nội $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ . Các chức năng mà các bản đồ$\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$ đối với sản phẩm bên trong$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$được gọi là một hạt nhân , hay còn gọi là hàm nhân, thường biểu hiện bằng $k$ .

Người ta có thể chọn $k$ để sản phẩm bên trong có hiệu quả để tính toán. Điều này cho phép sử dụng một không gian tính năng có khả năng cao với chi phí tính toán thấp. Đó được gọi là thủ thuật kernel . Để một hàm kernel là hợp lệ , nghĩa là có thể sử dụng được với thủ thuật kernel, nó sẽ đáp ứng hai thuộc tính chính . Có nhiều hàm kernel để lựa chọn . Là một lưu ý phụ, thủ thuật kernel có thể được áp dụng cho các mô hình học máy khác , trong trường hợp đó chúng được gọi là kernel .

Đi xa hơn

Một số QAs thú vị trên SVM:

• Cách tốt nhất để thực hiện SVM đa kính
• Hỗ trợ máy vectơ và hồi quy
• Hiểu các công thức khác nhau cho SVM
• Sự khác biệt giữa những gì $\ell_1$ -SVM, $\ell_2$ -SVM và mất LS-SVM chức năng?
• Để đối phó với một tập dữ liệu không cân bằng:
  • Cách tốt nhất để xử lý tập dữ liệu đa giác không cân bằng với SVM
  • Một lựa chọn ưu tiên của trọng lượng lớp SVM
• Làm thế nào để giải thích trọng lượng tính năng SVM?
• Giải thích giá trị C trong một SVM tuyến tính
• Giới hạn tổng quát hóa trên SVM
• Công thức chung cho Kích thước VC của một SVM
• "Máy" trong "máy vectơ hỗ trợ" và "máy Boltzmann bị hạn chế" nghĩa là gì?
• Làm thế nào là SVMs = So khớp mẫu?
• NeuralNetwork một lớp với kích hoạt ReLU bằng với SVM?
• So sánh SVM và hồi quy logistic

Các liên kết khác:

• Hình vuông nhỏ nhất hỗ trợ máy vector

---

Người giới thiệu:

• {1} Chapelle, Olivier. "Đào tạo một máy vectơ hỗ trợ trong nguyên thủy." Tính toán thần kinh 19, không. 5 (2007): 1155-1178. https://scholar.google.com/scholar?cluster=469291847682573606&hl=vi&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

Tôi sẽ tập trung vào những điểm tương đồng và khác biệt so với các phân loại khác:

• Từ một perceptron: SVM sử dụng mất bản lề và chính quy L2, perceptron sử dụng mất perceptron và có thể sử dụng dừng sớm (hoặc trong số các kỹ thuật khác) để chuẩn hóa, thực sự không có thuật ngữ chính quy trong perceptron. Vì nó không có thuật ngữ chính quy hóa, perceptron chắc chắn bị tập trung quá mức, do đó khả năng khái quát hóa có thể bị tùy tiện xấu. Việc tối ưu hóa được thực hiện bằng cách sử dụng độ dốc dốc ngẫu nhiên và do đó rất nhanh. Về mặt tích cực , bài báo này cho thấy rằng bằng cách dừng sớm với chức năng mất sửa đổi một chút, hiệu suất có thể ngang bằng với một SVM.

• Từ hồi quy logistic: hồi quy logistic sử dụng thuật ngữ mất logistic và có thể sử dụng chính quy L1 hoặc L2. Bạn có thể nghĩ về hồi quy logistic như người anh em kỳ thị của người ngây thơ hào phóng - Bayes.

• Từ LDA: LDA cũng có thể được xem như là một thuật toán tổng quát, nó giả định rằng các hàm mật độ xác suất (p (x | y = 0) và p (x | y = 1) thường được phân phối. Điều này lý tưởng khi dữ liệu ở trong Tuy nhiên, có một nhược điểm là "đào tạo" đòi hỏi sự đảo ngược của một ma trận có thể lớn (khi bạn có nhiều tính năng). Theo homocedasticity LDA trở thành QDA là Bayes tối ưu cho dữ liệu được phân phối thông thường. các giả định được thỏa mãn bạn thực sự không thể làm tốt hơn thế này.

Trong thời gian chạy (thời gian thử nghiệm), một khi mô hình đã được đào tạo, độ phức tạp của tất cả các phương thức này là như nhau, nó chỉ là một sản phẩm chấm giữa siêu phẳng, quy trình đào tạo được tìm thấy và điểm dữ liệu.

Kỹ thuật này được xác định khi vẽ một đường ranh giới quyết định để lại càng nhiều lề cho các ví dụ tích cực và tiêu cực đầu tiên càng tốt:

Như trong hình minh họa ở trên, nếu chúng ta chọn một vector trực giao mà $\lVert w \rVert=1$$\mathbf u$

$$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$$

$\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

Một điều kiện tương đương cho một mẫu dương tính sẽ là:

$$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$$

$C = - b.$

$b$$\color{blue}{\mathbf w}$

$\mathbf x_+,$$\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$$\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$$0$$1$$-1$

$\bf w$$b$

---

$y_i$$y_i=+1$$y_i=-1$

$$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$$

Vì vậy, chúng tôi xác định rằng giá trị này phải lớn hơn 0, nhưng nếu ví dụ trên hyperplanes ("máng xối") tối đa hóa biên độ phân tách giữa siêu phẳng quyết định và các mẹo của vectơ hỗ trợ, trong trường hợp này là dòng) sau đó:

$$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$$

$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

---

Ràng buộc thứ hai : khoảng cách của siêu phẳng quyết định đến các đầu của vectơ hỗ trợ sẽ được tối đa hóa. Nói cách khác, lề của sự phân tách ("đường phố") sẽ được tối đa hóa:

Giả sử một vectơ đơn vị vuông góc với ranh giới quyết định, $\mathbf w$ , sản phẩm chấm có sự khác biệt giữa hai ví dụ "giáp" cộng và trừ là chiều rộng của "đường phố" :

$$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$$

$x_+$$x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$ . Vì vậy, cải cách chiều rộng của đường phố:

$$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$$

$\frac{2}{\lVert w \rVert},$$\lVert w \rVert$

$$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$$

đó là thuận tiện về mặt toán học.

---

Vì vậy, chúng tôi muốn:

1. $\lVert x\rVert^2$

2. $y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

---

Vì chúng tôi muốn giảm thiểu biểu thức này dựa trên một số ràng buộc, chúng tôi cần một số nhân Lagrange (quay lại phương trình 2 và 4):

$$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$$

Khác biệt

$$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$$ .

Vì thế,

$$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$$

$b:$

$$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$$

điều đó có nghĩa là chúng ta có tổng sản phẩm bằng 0 và bội số:

$$\sum \lambda_i \, y_i = 0\tag 7$$

Cắm phương trình Eq (6) trở lại vào phương trình (5),

$$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$$

Thuật ngữ áp chót bằng 0 theo phương trình Eq (7).

Vì thế,

$$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$$

Phương trình (8) là Lagrangian cuối cùng.

Do đó, việc tối ưu hóa phụ thuộc vào sản phẩm chấm của các cặp ví dụ.

Quay trở lại "quy tắc quyết định" trong biểu thức (1) ở trên và sử dụng phương trình (6):

$$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$$

$\mathbf u.$

Một số ý kiến ​​về điều kiện Duality và KTT

Vấn đề cơ bản

$(4)$$(5)$

$$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$$

Phương pháp Lagrange

Phương pháp nhân số Lagrange cho phép chúng ta biến một vấn đề tối ưu hóa bị ràng buộc thành một trong những hình thức không bị ràng buộc

$$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$$

$\mathcal{L}(w, b, \alpha)$$\alpha_i$ .

Vấn đề tối ưu hóa nguyên thủy của chúng tôi với Lagrangian trở thành như sau: (lưu ý rằng việc sử dụng$min$, $max$ không phải là nghiêm ngặt nhất vì chúng ta cũng nên sử dụng $\inf$ và $\sup$ đây...)

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$$

Vấn đề kép

Những gì @Antoni và Giáo sư Patrick Winston đã làm trong công cụ phái sinh của họ là giả định rằng chức năng tối ưu hóa và các ràng buộc đáp ứng một số điều kiện kỹ thuật để chúng tôi có thể làm như sau:

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$$

Điều này cho phép chúng tôi lấy các dẫn xuất một phần của $\mathcal{L}(w, b, \alpha)$ đối với $w$ và $b$, bằng 0 và sau đó cắm các kết quả trở lại vào phương trình ban đầu của Lagrangian, do đó tạo ra một vấn đề tối ưu hóa kép tương đương của biểu mẫu

$$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$$

Nhị nguyên và KTT

Không đi sâu vào các kỹ thuật toán học quá mức, các điều kiện này là sự kết hợp của các điều kiện Nhị nguyên và Karush Kuhn Tucker (KTT) và cho phép chúng tôi giải quyết vấn đề kép thay vì nguyên tắc , trong khi đảm bảo rằng giải pháp tối ưu là như nhau. Trong trường hợp của chúng tôi, các điều kiện như sau:

• Các hàm ràng buộc mục tiêu và bất đẳng thức nguyên thủy phải là lồi
• Hàm ràng buộc đẳng thức phải là affine
• Các ràng buộc phải hoàn toàn khả thi

Sau đó tồn tại $w^*, \alpha^*$đó là giải pháp cho các vấn đề nguyên thủy và kép. Hơn nữa, các tham số$w^*, \alpha^*$ Đáp ứng các điều kiện KTT dưới đây:

$$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$$

Hơn nữa, nếu một số $w^*, \alpha^*$ Đáp ứng các giải pháp KTT thì chúng cũng là giải pháp cho vấn đề nguyên thủy và kép.

Phương trình $(C)$ở trên có tầm quan trọng đặc biệt và được gọi là điều kiện bổ sung kép . Nó ngụ ý rằng nếu$\alpha_i^* > 0$ sau đó $g_i(w^*) = 0$ có nghĩa là các ràng buộc $g_i(w) \leq 0$là hoạt động, tức là nó giữ bằng bình đẳng hơn là bất bình đẳng. Đây là lời giải thích đằng sau phương trình$(2)$ trong đạo hàm của Antoni, nơi ràng buộc bất bình đẳng được biến thành ràng buộc bình đẳng.

Một sơ đồ trực quan nhưng không chính thức

Nguồn

• Andrew Ng 1 và 2
• MIT