Giới hạn tổng quát về SVM

Tôi quan tâm đến kết quả lý thuyết về khả năng khái quát hóa của Máy vectơ hỗ trợ, ví dụ như giới hạn về xác suất lỗi phân loại và về kích thước của LinkedInnik-Chervonenkis (VC) của các máy này. Tuy nhiên, đọc qua các tài liệu tôi đã có ấn tượng rằng một số kết quả định kỳ tương tự có xu hướng hơi khác nhau giữa tác giả và tác giả, đặc biệt là về các điều kiện kỹ thuật cần thiết cho một ràng buộc nhất định để giữ.

Sau đây tôi sẽ nhắc lại cấu trúc của vấn đề SVM và trạng thái 3 của các kết quả khái quát hóa chính mà tôi đã tìm thấy thường xuyên ở dạng này hay dạng khác tôi đưa ra 3 tài liệu tham khảo chính trong suốt quá trình giải trình. $-$

Đặt vấn đề :

Giả sử chúng ta có một mẫu dữ liệu của các cặp (iid) độc lập và phân phối giống hệt nhau trong đó cho tất cả , và . Chúng tôi xây dựng một máy vectơ hỗ trợ (SVM) tối đa hóa lề tối thiểu giữa siêu phẳng tách biệt được xác định bởi , và và điểm gần nhất trong số để tách hai lớp được xác định bởi và . Chúng tôi cho phép SVM thừa nhận một số lỗi thông qua lề mềm bằng cách đưa ra các biến chùng $(x_i,y_i)_{1\leq i\leq n}$ $i$ $x_i \in \mathbb{R}^p$ $y_i \in \{-1,1\}$ $m^*$ $\{x : w \cdot x + b = 0\}$ $w \in \mathbb{R}^p$ $b \in \mathbb{R}$ $x_1,\cdots,x_n$ $y = -1$ $y = 1$ $\xi_1,\cdots,\xi_n$ $-$ nhưng để đơn giản hóa công chứng, chúng tôi bỏ qua khả năng của hạt nhân. Các tham số giải pháp và thu được bằng cách giải chương trình tối ưu hóa bậc hai lồi sau đây: $w^*$ $b^*$

\begin{aligned} min_{w, b, ξ_{1}, \dots, ξ_{n}} & \frac{1}{2} ‖ w ‖^{2} + C \sum_{i = 1}^{n} ξ_{i} \\ s.t. : & y_{i} (w \cdot x_{i} + b) \geq 1 - ξ_{i} & , \forall i \in {1, \dots, n} \\ ξ_{i} \geq 0 & , \forall i \in {1, \dots, n} \end{aligned}

$\begin{align} \min_{w, \, b, \, \xi_1, \, \cdots, \, \xi_n} \; & \; \frac{1}{2}\|w\|^2 + C\sum_{i=1}^n\xi_i \\ \text{s.t.} \; : \; & \; y_i(w\cdot x_i+b) \geq 1 - \xi_i \, & , \, \forall \, i \in \{1,\cdots,n\} \\ & \; \xi_i \geq 0\, & , \, \forall \, i \in \{1,\cdots,n\} \end{align}$

Chúng tôi quan tâm đến khả năng khái quát của máy này.

Kích thước vnnik-Chervonenkis $VC$ :

Một kết quả đầu tiên là do (Vapnik, 2000), trong đó anh ta giới hạn kích thước VC của một siêu phẳng tách biệt, định lý 5.1. Để, chúng ta có: $R = \max_{x_i} \|x_i\|$

V C \leq min ({(\frac{R}{m^{*}})}^{2}, p) + 1

$VC \leq \min \left( \left( \frac{R}{m^*}\right)^2, \, p\right) + 1$

Kết quả này có thể được tìm thấy một lần nữa trong (Burges, 1998), định lý 6. Tuy nhiên, có vẻ như định lý của Burges hạn chế hơn so với kết quả tương tự của Vapnik, vì anh ta cần xác định một loại phân loại đặc biệt, được gọi là phân loại dung sai khoảng cách mà SVM thuộc về , để nêu định lý. $-$ $-$

Giới hạn xác suất lỗi :

Trong (Vapnik, 2000), định lý 5.2 trong trang 139 đưa ra các ràng buộc sau về khả năng khái quát hóa SVM:

E [P_{error}] \leq \frac{1}{n} E [min (p, n_{S V}, (R ‖ w ‖)^{2})]

$\mathbb{E}[P_{\text{error}}] \leq \frac{1}{n}\mathbb{E} \left[ \min\left(p,n_{SV},(R \, \|w\|)^2 \right) \right]$

Trong đó là số vectơ hỗ trợ của SVM. Kết quả này dường như được tìm thấy một lần nữa trong (Burges, 1998), phương trình (86) và (93) tương ứng. Nhưng một lần nữa, Burges dường như khác với Vapnik khi ông tách các thành phần trong hàm tối thiểu ở trên trong các định lý khác nhau, với các điều kiện khác nhau. $n_{SV}$

Một kết quả khác xuất hiện trong (Vapnik, 2000), tr.133, là như sau. Giả sử một lần nữa rằng, với tất cả , và để và , chúng tôi xác định bằng: $i$ $\|x_i\|^2 \leq R^2$ $h \equiv VC$ $\epsilon \in [0,1]$ $\zeta$

ζ = 4 \frac{h (ln \frac{2 n}{h} + 1) - ln \frac{ϵ}{4}}{n}

$\zeta = 4 \frac{h\left( \text{ln}\frac{2n}{h} + 1\right) - \text{ln}\frac{\epsilon}{4}}{n}$

Chúng tôi cũng định nghĩa là số ví dụ đào tạo được phân loại sai bởi SVM. Sau đó, với xác suất chúng ta có thể khẳng định rằng xác suất mà một ví dụ kiểm tra sẽ không được phân tách chính xác bởi siêu phẳng -margin tức là SVM có lề có ràng buộc: $n_{\text{error}}$ $1-\epsilon$ $m^*$ $-$ $m^*$ $-$

P_{error} \leq \frac{n_{error}}{n} + \frac{ζ}{2} (1 + \sqrt{1 + \frac{4 n_{error}}{n ζ}})

$P_{\text{error}} \leq \frac{n_{\text{error}}}{n} + \frac{\zeta}{2} \left( 1 + \sqrt{1+ \frac{4 \, n_{\text{error}}}{n \, \zeta}} \right)$

Tuy nhiên, trong (Hastie, Tibshirani và Friedman, 2009), tr.438, một kết quả rất giống nhau được tìm thấy:

{Error}_{Test} \leq ζ

$\text{Error}_{\text{Test}} \leq \zeta$

Kết luận :

Dường như với tôi rằng có một mức độ xung đột nhất định giữa các kết quả này. Mặt khác, hai trong số các tài liệu tham khảo này, mặc dù là kinh điển trong tài liệu SVM, bắt đầu hơi cũ (1998 và 2000), đặc biệt nếu chúng tôi xem xét rằng nghiên cứu về thuật toán SVM bắt đầu vào giữa những năm 1990.

Câu hỏi của tôi là:

Những kết quả này vẫn còn hiệu lực ngày hôm nay, hoặc chúng đã được chứng minh là sai?
Có giới hạn chặt chẽ hơn với các điều kiện tương đối lỏng lẻo đã được bắt nguồn từ đó? Nếu vậy, tôi có thể tìm thấy chúng ở đâu và ở đâu?
Cuối cùng, có tài liệu tham khảo nào tổng hợp các kết quả khái quát hóa chính về SVM không?

Tài liệu tham khảo :

Burges, JC (1998). "Hướng dẫn về Máy Vector Hỗ trợ Nhận dạng Mẫu", Khai thác Dữ liệu và Khám phá Kiến thức , 2: 121-167

Hastie, T., Tibshirani, R. và Friedman, J. (2009). Các yếu tố của học thống kê , ấn bản 2, Springer

Vapnik, VN (1998). Lý thuyết học thống kê , ấn bản 1, John Wiley & Sons

Vapnik, VN (1999). "Tổng quan về lý thuyết học thống kê", Giao dịch của IEEE trên mạng thần kinh , 10 (5): 988-999

Vapnik, VN (2000). Bản chất của lý thuyết học thống kê , tái bản lần 2, Springer

machine-learning svm vc-dimension

— Daneel Olivaw
nguồn

một tài liệu tham khảo tóm tắt các giới hạn rủi ro tiên tiến (tính đến năm 2008) cho các SVM: "Support Vector Machines" (Ingo Steinwart, Andreas Christmann, Springer 2008) .

— đăng ký

Tôi không biết tài liệu mà bạn đề cập chi tiết, nhưng tôi nghĩ rằng một bản tóm tắt toàn diện về giới hạn khái quát hóa cần được cập nhật có thể được tìm thấy trong Boucheron et al. (2004) (Liên kết: https://www.researchgate.net/profile/Olivier_Bousquet/publication / 38718428 Canberra-Australia-Tháng Hai-2-14-2003-Tuebingen-Đức-Tháng Tám-4-16-2003-Revised-Lectures.pdf # page = 176 )

Tôi sẽ phác thảo một phần của SVM bị ràng buộc sau đây, để lại chi tiết và chứng minh.

Trước khi xây dựng cụ thể về ràng buộc SVM, chúng ta cần hiểu những gì giới hạn khái quát hóa đang cố gắng đạt được.

Trước tiên, chúng ta hãy giả sử rằng xác suất thực biết thì phân loại tốt nhất có thể sẽ là phân loại bayes, tức là $P(Y = +1| X = x)$

\begin{aligned} g * = {\begin{cases} + 1 i f P (Y = 1 | X = x) > 0.5 \\ - 1 o t h e r w i s e \end{cases} \end{aligned}

$\begin{align} g* = \begin{cases} + 1 \ \ if P(Y = 1| X = x) > 0.5 \\ -1 \ \ otherwise \end{cases} \end{align}$

Mục tiêu của lý thuyết học thống kê hiện nay là tìm ra sự khác biệt giữa một bộ phân loại của lớp (ví dụ: SVM) và trình phân loại bayes, tức là Lưu ý rằng là sự mất mát cho dữ liệu và dự kiến là phân loại tốt nhất có thể trong mô hình lớp . Thuật ngữ được gọi là lỗi ước tính và thường là trọng tâm vì nó có thể được giới hạn dễ dàng hơn nhiều so với lỗi xấp xỉ (thuật ngữ khác). Tôi cũng sẽ bỏ qua lỗi gần đúng ở đây. $C$

\begin{aligned} {\hat{g}}_{n} = a r g min_{g \in C} L_{n} (g) \end{aligned}

$\begin{align} \hat{g}_n = arg \min_{g \in C} L_n(g) \end{align}$

\begin{aligned} L ({\hat{g}}_{n}) - L (g *) = L ({\hat{g}}_{n}) - L (g_{c}^{*}) + L (g_{c}^{*}) - L (g *) . \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g*) = L(\hat{g}_n) - L(g^{*}_c) + L(g^{*}_c) - L(g*). \end{align}$

L (g) = E l (g (X), Y)

$L(g) = \mathbb{E}l(g(X),Y)$

g_{c}^{*}

$g^{*}_c$

C

$C$

Z =: L (g *) - L ({\hat{g}}_{n})

$Z =: L(g*) - L(\hat{g}_n)$

Lỗi ước tính có thể được phân tách thêm bằng Bây giờ điều này có thể được giới hạn bởi hai bước: $Z$

\begin{aligned} Z = Z - E Z + E Z . \end{aligned}

$\begin{align} Z = Z - \mathbb{E}Z + \mathbb{E}Z. \end{align}$

Giới hạn sử dụng bất đẳng thức McDiarmid $Z - \mathbb{E}Z$
Giới hạn với độ phức tạp Rademacher $\mathbb{E}Z$ $R_n(C) = \mathbb{E}sup_{g \in C}|1/n \sum_{i=1}^{n} l(g(X_i),Y_i)|$

Sử dụng bất đẳng thức McDiarmids người ta có thể chỉ ra rằng nếu hàm mất mát nằm trong một khoảng không quá , thì bước một dẫn đến một ràng buộc của trong đó là mức độ tin cậy. Đối với bước thứ hai, chúng ta có thể chỉ ra rằng Nếu bạn có chức năng mất riêng biệt, ví dụ như không phải là Lipchitz, chẳng hạn như 0-1 -loss, bạn sẽ cần Kích thước VC để tiếp tục giới hạn Độ phức tạp Rademacher. Tuy nhiên, đối với các chức năng L-lipchitz như Mất bản lề, điều này có thể bị giới hạn bởi trong đó $B$

\begin{aligned} Z - E Z \leq 2 B \sqrt{\frac{l n (1 / δ)}{2 n}}, \end{aligned}

$\begin{align} Z - \mathbb{E}Z \leq 2 B \sqrt{\dfrac{ln(1/\delta)}{2n}}, \end{align}$

δ

$\delta$

\begin{aligned} E Z \leq 2 R_{n} (C), \end{aligned}

$\begin{align} \mathbb{E}Z \leq 2R_n(C), \end{align}$

\begin{aligned} R_{n} (C) \leq λ L R / \sqrt{n}, \end{aligned}

$\begin{align} R_n(C) \leq \lambda L R/\sqrt{n}, \end{align}$

λ

$\lambda$ biểu thị chính quy. Vì đối với tổn thất bản lề và (chứng minh với bất đẳng thức Gauchy-Schwartz), điều này càng đơn giản hóa. Cuối cùng, đặt tất cả các kết quả lại với nhau, chúng ta có thể giới hạn

L = 1

$L = 1$

B = 1 + λ R

$B = 1 + \lambda R$

\begin{aligned} L ({\hat{g}}_{n}) - L (g_{c}^{*}) \leq 2 (1 + λ R) \sqrt{\frac{l n (1 / δ)}{2 n}} + 4 λ L R / \sqrt{n} \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g^{*}_c) \leq 2(1 + \lambda R) \sqrt{\dfrac{ln(1/\delta)}{2n}} + 4 \lambda L R/\sqrt{n} \end{align}$

— dkoehn
nguồn