Phạm vi tìm kiếm nào để xác định tham số gamma C và gamma tối ưu?

32

Tôi đang sử dụng SVM để phân loại và tôi đang cố gắng xác định các tham số tối ưu cho các hạt nhân tuyến tính và RBF. Đối với nhân tuyến tính, tôi sử dụng lựa chọn tham số xác thực chéo để xác định C và đối với nhân RBF, tôi sử dụng tìm kiếm lưới để xác định C và gamma.

Tôi có 20 tính năng (số) và 70 ví dụ đào tạo nên được phân loại thành 7 lớp.

Tôi nên sử dụng phạm vi tìm kiếm nào để xác định các giá trị tối ưu cho các tham số C và gamma?

classification svm kernel-trick

— Kywia
nguồn

31

Kiểm tra Hướng dẫn thực tế về Phân loại SVM cho một số gợi ý, đặc biệt là trang 5.

Chúng tôi đề nghị một "lưới tìm kiếm" trên và sử dụng cross-validation. Cặp khác nhau của giá trị được cố gắng và một với tính chính xác cross-validation tốt nhất được chọn. Chúng tôi thấy rằng cố gắng trình tự phát triển theo cấp số nhân của và là một phương pháp thực tiễn để xác định các thông số tốt (ví dụ, $C$ $\gamma$ $(C,\gamma)$ $C$ $\gamma$ ). $C = 2^{-5},2^{-3},\ldots,2^{15};\gamma = 2^{-15},2^{-13},\ldots,2^{3}$

Hãy nhớ bình thường hóa dữ liệu của bạn trước và nếu bạn có thể, hãy thu thập thêm dữ liệu vì từ vẻ bề ngoài của nó, vấn đề của bạn có thể không được xác định rõ ràng.

— ciri
nguồn

Có nên thực hiện kiểm tra ngang hàng? không có một thư viện để đạt được nó?

— x-rw

11

Kiểm tra phần 2.3.2 của bài viết này của Chapelle và Zien. Họ có một đẹp heuristic để chọn phạm vi tìm kiếm tốt cho của kernel RBF và cho SVM. Tôi trích dẫn $\sigma$ $C$

Để xác định giá trị tốt của các tham số miễn phí còn lại (ví dụ: bằng CV), điều quan trọng là tìm kiếm theo đúng tỷ lệ. Do đó chúng tôi sửa chữa các giá trị mặc định cho và có thứ tự đúng của cường độ. Trong một đẳng cấp vấn đề chúng ta sử dụng quantile của khoảng cách cặp của tất cả các dữ liệu điểm như một mặc định cho . Mặc định cho là nghịch đảo của phương sai thực nghiệm trong không gian tính năng, có thể được tính bằng $C$ $\sigma$ $c$ $1/c$ $D^\rho_{ij}$ $\sigma$ $C$ $s^2$ từ mộthạt nhân ma trận. $s^2 = \frac{1}{n} \sum_i K_{ii} - \frac{1}{n^2}\sum_{i,j} K_{ij}$ $n\times n$ $K$

Sau đó, họ sử dụng bội số (ví dụ cho ) giá trị mặc định là phạm vi tìm kiếm trong một lưới tìm kiếm bằng cross-validation. Điều đó luôn làm việc rất tốt cho tôi. $2^k$ $k\in \{-2,...,2\}$

Tất nhiên, chúng tôi @ciri nói, bình thường hóa dữ liệu, vv luôn là một ý tưởng tốt.

— fabee
nguồn

Tôi nghĩ rằng có một số công thức hạt nhân rbf bằng nhau. Một với gamma và một với sigma, tức là gamma = 1/2sigma ^ 2. Gamma trong heuristic ở trên có tương ứng với gamma, sigma hoặc sigma ^ 2 không? Tôi đã tìm thấy những mô tả khác về cùng một heurstic dành cho gamma.

— máy móc

\frac{1}{2 σ^{2}}

$\frac{1}{2\sigma^2}$

@fabee Có nên thực hiện kiểm tra ngang hàng? không có một thư viện để đạt được nó?

— x-rw