Một tìm kiếm lưới SVM có nên hiển thị vùng có độ chính xác cao với độ chính xác thấp xung quanh không?

Tôi có 12 bộ huấn luyện tích cực (tế bào ung thư được điều trị bằng thuốc với mỗi 12 cơ chế hoạt động khác nhau). Đối với mỗi bộ đào tạo tích cực này, tôi muốn đào tạo một máy vectơ hỗ trợ để phân biệt nó với một bộ âm có kích thước bằng nhau được lấy mẫu từ thử nghiệm. Mỗi bộ có từ 1000 đến 6000 ô và có 476 tính năng (tính năng hình ảnh) của mỗi ô, mỗi ô được chia tỷ lệ tuyến tính thành [0, 1].

Tôi sử dụng LIBSVM và hạt nhân Gaussian RGB. Sử dụng phép định giá chéo năm lần, tôi đã thực hiện tìm kiếm lưới cho log C ∈ [-5, 15] và log₂ [-15, 3]. Kết quả như sau:

Tôi đã thất vọng vì không có một bộ thông số nào mang lại độ chính xác cao cho tất cả 12 vấn đề phân loại. Tôi cũng ngạc nhiên khi các lưới thường không hiển thị vùng có độ chính xác cao được bao quanh bởi độ chính xác thấp hơn. Có phải điều này chỉ có nghĩa là tôi cần mở rộng không gian tham số tìm kiếm, hoặc là tìm kiếm dạng lưới cho thấy có gì đó không đúng?

Các giá trị tối ưu cho các tham số siêu sẽ khác nhau đối với các taks học khác nhau, bạn cần điều chỉnh chúng riêng cho mọi vấn đề.

Lý do bạn không nhận được một tối ưu duy nhất là vì cả tham số kernel và tham số chính quy kiểm soát độ phức tạp của mô hình. Nếu C nhỏ, bạn có được một mô hình trơn tru, tương tự như vậy, nếu hạt nhân rộng, bạn sẽ có được một mô hình trơn tru (vì các hàm cơ bản không phải là rất cục bộ). Điều này có nghĩa là sự kết hợp khác nhau của C và chiều rộng hạt nhân dẫn đến các mô hình phức tạp tương tự nhau, với hiệu suất tương tự (đó là lý do tại sao bạn có được tính năng đường chéo trong nhiều ô bạn có).

Tối ưu cũng phụ thuộc vào mẫu cụ thể của tập huấn luyện. Có thể quá phù hợp với lỗi xác thực chéo, do đó, việc chọn các tham số siêu bằng cách xác thực chéo có thể thực sự làm cho hiệu suất kém hơn nếu bạn không may mắn. Xem Cawley và Talbot cho một số thảo luận về điều này.

Thực tế là có rất nhiều giá trị cho các tham số siêu mà bạn nhận được các giá trị tốt tương tự thực sự là một tính năng tốt của các máy vectơ hỗ trợ vì nó cho thấy rằng chúng không quá dễ bị phù hợp với lựa chọn mô hình. Nếu bạn có một đỉnh sắc nét ở các giá trị tối ưu, đó sẽ là một điều tồi tệ vì cực đại sẽ khó tìm thấy bằng cách sử dụng một bộ dữ liệu hữu hạn sẽ cung cấp một dấu hiệu không đáng tin cậy về nơi mà đỉnh đó thực sự nằm.