Làm thế nào để người ta áp dụng xác nhận chéo một cách thích hợp trong bối cảnh chọn tham số học tập cho các máy vectơ hỗ trợ?

Gói libsvm tuyệt vời cung cấp giao diện python và tệp "easy.py" tự động tìm kiếm các tham số học tập (chi phí & gamma) để tối đa hóa độ chính xác của trình phân loại. Trong một tập hợp các tham số học tập nhất định, độ chính xác được vận hành bằng xác nhận chéo, nhưng tôi cảm thấy điều này làm suy yếu mục đích của xác thực chéo. Đó là, trong trường hợp bản thân các tham số học tập có thể được chọn theo cách có thể gây ra sự phù hợp quá mức của dữ liệu, tôi cảm thấy một cách tiếp cận phù hợp hơn sẽ là áp dụng xác thực chéo ở cấp độ tìm kiếm: thực hiện tìm kiếm trên một tập dữ liệu huấn luyện và sau đó đánh giá độ chính xác cuối cùng của SVM do các tham số học tập được chọn cuối cùng bằng cách đánh giá trong một tập dữ liệu thử nghiệm riêng biệt. Hay tôi đang thiếu một cái gì đó ở đây?

Nếu bạn tìm hiểu các tham số siêu trong dữ liệu huấn luyện đầy đủ và sau đó xác thực chéo, bạn sẽ có được ước tính hiệu suất thiên vị lạc quan, bởi vì dữ liệu thử nghiệm trong mỗi lần sẽ được sử dụng để thiết lập siêu tham số, do đó, siêu tham số các tham số được chọn được chọn một phần vì chúng phù hợp với dữ liệu trong bộ kiểm tra. Sự thiên vị lạc quan được giới thiệu theo cách này có thể lớn bất ngờ. Xem Cawley và Talbot, "Về sự phù hợp quá mức trong lựa chọn mô hình và xu hướng lựa chọn tiếp theo trong đánh giá hiệu suất", JMLR 11 (tháng 7): 2079−2107, 2010.(Riêng phần 5.3). Điều tốt nhất để làm là xác nhận chéo lồng nhau. Ý tưởng cơ bản là bạn xác thực chéo toàn bộ phương thức được sử dụng để tạo mô hình, vì vậy hãy coi lựa chọn mô hình (chọn siêu tham số) là một phần của quy trình khớp mô hình (nơi xác định tham số) và bạn không thể đi quá xa

Nếu bạn sử dụng xác thực chéo trên tập huấn luyện để xác định siêu tham số và sau đó đánh giá hiệu suất của mô hình được đào tạo bằng các tham số đó trên toàn bộ tập huấn luyện, sử dụng một bộ kiểm tra riêng, điều đó cũng tốt (miễn là bạn có đủ dữ liệu để phù hợp một cách đáng tin cậy mô hình và ước tính hiệu suất bằng cách sử dụng các phân vùng rời rạc).

Tôi không nghĩ việc xác thực chéo bị sử dụng sai trong trường hợp LIBSVM vì nó được thực hiện ở mức dữ liệu thử nghiệm. Tất cả những gì nó làm là xác thực chéo k-Fold và tìm kiếm tham số tốt nhất cho kernel RBF. Hãy cho tôi biết về bạn không đồng ý.