Chính quy hóa sử dụng biểu đồ laplacian trong SVM

Tôi đang cố gắng thực hiện Chính quy hóa Manifold trong Máy vectơ hỗ trợ (SVM) trong Matlab. Tôi đang làm theo hướng dẫn trong bài báo của Belkin và cộng sự (2006), có phương trình trong đó:

$f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2}$

Trong đó V là một số hàm mất và là trọng số của chỉ tiêu của hàm trong RHKS (hoặc định mức môi trường), thì thực thi một điều kiện trơn tru trên các giải pháp có thể và là trọng số của định mức của hàm trong đa tạp chiều thấp (hoặc chỉ tiêu nội tại), thực thi trơn tru dọc theo mẫu M. Bộ điều chỉnh môi trường xung quanh làm cho vấn đề được đặt ra tốt, và sự hiện diện của nó có thể thực sự hữu ích từ quan điểm thực tế khi giả định đa tạp giữ ở mức độ thấp hơn . $\gamma_A$ $\gamma_I$

Nó đã được thể hiện trong Belkin et al. (2006) rằng $f^*$ thừa nhận sự mở rộng về $n$ điểm của S, $f^*(x)=\sum_{i=1}^{n}\alpha_i^*k(x_i,x)$ Hàm quyết định mà phân biệt giữa lớp +1 và -1 là $y(x)=sign(f^*(x))$ .

Vấn đề ở đây là, tôi đang cố gắng đào tạo SVM bằng LIBSVM trong MATLAB nhưng tôi không muốn sửa đổi mã gốc, vì vậy tôi đã tìm thấy phiên bản tiền mã hóa của LIBSVM thay vì lấy dữ liệu đầu vào và các nhóm đầu ra làm tham số , được ma trận Kernal tính toán và các nhóm đầu ra và huấn luyện mô hình SVM. Tôi đang thử nguồn cấp dữ liệu với ma trận Kernel thông thường (Gram Matrix) và để nó làm phần còn lại.

Tôi đã cố gắng tìm công thức thường xuyên hóa Kernal và đi đến đây: Xác định là ma trận danh tính có cùng chiều với Ma trận hạt nhân, $I$ $K$

$G=\frac{2\gamma_AI + 2\gamma_ILK}{I}$

$Gram = KG$

Trong đó là Ma trận đồ thị Laplacian, là Ma trận hạt nhân và là ma trận danh tính. Và được tính bằng phép nhân bên trong của hai ma trận và . $L$ $K$ $I$ $Gram$ $K$ $G$

Có ai có thể giúp tôi tìm ra cách tính toán này không?

machine-learning svm regularization

— Moh
nguồn

Rốt cuộc bạn đã làm gì?

— Sveltely

@Sveltely Không có gì

— Moh

~~Trong khi tôi không kiểm tra nó~~ , đọc bài báo, vấn đề tối ưu hóa, cho cả SVM và LapSVM , được đưa ra là:

β^{*} = max_{β \in R^{l}} \sum_{i = 1}^{l} β_{i} - \frac{1}{2} β^{T} Q β

$\beta^*=\max_{\beta\in\mathbb R^l} \sum_{i = 1}^{l}\beta_i - {1\over 2}\beta^TQ\beta$ chủ đề:

\sum_{i = 1}^{l} β_{i} y_{i} = 0 0 \leq β_{i} \leq \frac{1}{l}, with i = 1, \dots, l

$\sum_{i = 1}^{l}\beta_iy_i = 0\\ 0 \le \beta_i \le {1\over l}\text{, with }i=1,\dots,l$

Đối với SVM :

Q_{SVM} = Y (\frac{K}{2 γ}) Y α_{SVM}^{*} = \frac{Y β^{*}}{2 γ}

$Q_{\text{SVM}} = Y\left(K \over 2\gamma\right)Y\\ \alpha^*_{\text{SVM}}={Y\beta^* \over 2\gamma}$

Trong khi đối với LapSVM, chúng ta có các phần sau (thêm dấu ngoặc đơn để làm cho mối quan hệ rõ ràng hơn):

Q_{LapSVM} = Y (J K {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K)}^{- 1} J^{T}) Y α_{LapSVM}^{*} = {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K)}^{- 1} J^{T} Y β^{*}

$Q_{\text{LapSVM}} = Y\left( JK \left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK\right)^{-1} J^T\right)Y\\ \alpha^*_{\text{LapSVM}}= \left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK\right)^{-1}J^TY\beta^*$

Chúng ta có thể định nghĩa if:

Q_{SVM*} \equiv Q_{LapSVM}

$Q_{\text{SVM*}} \equiv Q_{\text{LapSVM}}$

{\begin{matrix} γ_{SVM*} = 1 / 2 \\ K_{SVM*} = J K_{LapSVM} {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K_{LapSVM})}^{- 1} J^{T} \end{matrix}

$\left\{\begin{matrix} \gamma_{\text{SVM*}} = 1/2 \\ K_{\text{SVM*}}=JK_{\text{LapSVM}}\left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK_{\text{LapSVM}}\right)^{-1}J^T \end{matrix}\right.$

Cuối cùng:

α_{LapSVM}^{*} = K_{LapSVM} {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K_{LapSVM})}^{- 1} J^{T} α_{SVM*}^{*}

$\alpha^*_{\text{LapSVM}}= K_{\text{LapSVM}}\left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK_{\text{LapSVM}}\right)^{-1}J^T \alpha^*_{\text{SVM*}}$

Tôi có thể xác nhận rằng nó hoạt động. Xem ví dụ này với nhân Gaussian và cách lớp virginicabắt đầu len vào dữ liệu không ghi nhãn khi so với , đó là SVM tiêu chuẩn. $\gamma_I = 2500$ $\gamma_I = 0$

— Bọ lửa
nguồn