Tôi hiện đang sử dụng một SVM với kernel tuyến tính để phân loại dữ liệu của mình. Không có lỗi trên tập huấn luyện. Tôi đã thử một vài giá trị cho tham số ( 10 - 5 , Mạnh , 10 2 ). Điều này đã không thay đổi lỗi trên bộ thử nghiệm.
Bây giờ tôi tự hỏi: đây có phải là một lỗi gây ra bởi các ràng buộc ruby cho libsvmtôi đang sử dụng ( rb-libsvm ) hay đây là lý thuyết có thể giải thích được ?
Tham số có nên luôn thay đổi hiệu suất của trình phân loại không?
Câu trả lời:
Tham số C cho biết tối ưu hóa SVM bao nhiêu bạn muốn tránh phân loại sai mỗi ví dụ đào tạo. Đối với các giá trị lớn của C, việc tối ưu hóa sẽ chọn một siêu phẳng có biên độ nhỏ hơn nếu siêu phẳng đó thực hiện công việc tốt hơn là lấy tất cả các điểm đào tạo được phân loại chính xác. Ngược lại, một giá trị rất nhỏ của C sẽ khiến trình tối ưu hóa tìm kiếm một siêu phẳng tách biệt có biên lớn hơn, ngay cả khi siêu phẳng đó phân loại sai nhiều điểm hơn. Đối với các giá trị rất nhỏ của C, bạn nên lấy các ví dụ phân loại sai, thường là ngay cả khi dữ liệu đào tạo của bạn có thể phân tách tuyến tính.
Trong một SVM, bạn đang tìm kiếm hai thứ: một siêu phẳng có lề tối thiểu lớn nhất và một siêu phẳng phân tách chính xác càng nhiều trường hợp càng tốt. Vấn đề là bạn sẽ không thể có được cả hai thứ. Tham số c xác định mức độ mong muốn của bạn là tuyệt vời như thế nào. Tôi đã rút ra một ví dụ nhỏ dưới đây để minh họa điều này. Ở bên trái, bạn có một c thấp cung cấp cho bạn một lề tối thiểu khá lớn (màu tím). Tuy nhiên, điều này đòi hỏi chúng ta bỏ qua vòng tròn màu xanh ngoại lệ mà chúng ta đã không phân loại đúng. Bên phải bạn có một c cao. Bây giờ bạn sẽ không bỏ qua ngoại lệ và do đó kết thúc với một lề nhỏ hơn nhiều.
Vì vậy, trong số các phân loại là tốt nhất? Điều đó phụ thuộc vào dữ liệu trong tương lai mà bạn dự đoán sẽ trông như thế nào và thường thì bạn không biết điều đó. Nếu dữ liệu trong tương lai trông như thế này:
sau đó phân loại đã học bằng cách sử dụng giá trị c lớn là tốt nhất.
Mặt khác, nếu dữ liệu trong tương lai trông như thế này:
sau đó phân loại đã học bằng cách sử dụng giá trị c thấp là tốt nhất.
Tùy thuộc vào tập dữ liệu của bạn, việc thay đổi c có thể hoặc không thể tạo ra một siêu phẳng khác nhau. Nếu nó không tạo ra một siêu phẳng khác nhau, điều đó không có nghĩa là phân loại của bạn sẽ đưa ra các lớp học khác nhau cho các dữ liệu cụ thể bạn đã sử dụng nó để phân loại. Weka là một công cụ tốt để trực quan hóa dữ liệu và chơi xung quanh với các cài đặt khác nhau cho một SVM. Nó có thể giúp bạn có được ý tưởng tốt hơn về cách dữ liệu của bạn trông như thế nào và tại sao thay đổi giá trị c không thay đổi lỗi phân loại. Nói chung, có ít trường hợp đào tạo và nhiều thuộc tính giúp cho việc phân tách dữ liệu tuyến tính dễ dàng hơn. Ngoài ra, thực tế là bạn đang đánh giá dữ liệu đào tạo của mình và không phải dữ liệu mới chưa thấy giúp việc phân tách dễ dàng hơn.
Những loại dữ liệu bạn đang cố gắng học một mô hình từ? Bao nhiêu dữ liệu? Chúng ta có thể nhìn thấy nó?
C về cơ bản là một tham số chính quy, điều khiển sự đánh đổi giữa việc đạt được một lỗi thấp trên dữ liệu huấn luyện và giảm thiểu định mức của các trọng số. Nó không phù hợp với tham số sườn trong hồi quy sườn (trên thực tế trong thực tế có rất ít sự khác biệt về hiệu suất hoặc lý thuyết giữa các SVM tuyến tính và hồi quy sườn, vì vậy tôi thường sử dụng hồi quy sườn sau - hoặc nhân nếu có nhiều thuộc tính hơn quan sát).
Điều chỉnh C chính xác là một bước quan trọng trong thực tiễn tốt nhất trong việc sử dụng các SVM, vì giảm thiểu rủi ro cấu trúc (nguyên tắc chính đằng sau cách tiếp cận cơ bản) là bên được thực hiện thông qua điều chỉnh C. Tham số C thực thi giới hạn trên của định mức trọng số, có nghĩa là có một tập hợp các lớp giả thuyết được lồng vào nhau bởi C. Khi chúng ta tăng C, chúng ta tăng độ phức tạp của lớp giả thuyết (nếu chúng ta tăng nhẹ C, chúng ta vẫn có thể tạo thành tất cả các mô hình tuyến tính mà chúng ta có thể trước đây và cũng có một số điều mà chúng tôi không thể trước khi chúng tôi tăng giới hạn trên về định mức cho phép của các trọng số). Vì vậy, cũng như thực hiện SRM thông qua phân loại lề tối đa, nó cũng được thực hiện bằng cách giới hạn độ phức tạp của lớp giả thuyết thông qua việc kiểm soát C.
Đáng buồn là lý thuyết để xác định cách thiết lập C hiện tại không được phát triển tốt, vì vậy hầu hết mọi người có xu hướng sử dụng xác nhận chéo (nếu họ làm bất cứ điều gì).
C là một tham số chính quy kiểm soát sự đánh đổi giữa việc đạt được một lỗi đào tạo thấp và một lỗi kiểm tra thấp đó là khả năng khái quát hóa trình phân loại của bạn để không nhìn thấy dữ liệu.
Xét hàm mục tiêu của một SVM tuyến tính: min | w | ^ 2 + C∑ξ. Nếu C của bạn quá lớn, thuật toán tối ưu hóa sẽ cố gắng giảm | w | càng nhiều càng tốt dẫn đến một siêu phẳng cố gắng phân loại chính xác từng ví dụ đào tạo. Làm điều này sẽ dẫn đến mất các thuộc tính tổng quát của phân loại. Mặt khác, nếu C của bạn quá nhỏ thì bạn cung cấp cho hàm mục tiêu của mình một sự tự do nhất định để tăng | w | rất nhiều, sẽ dẫn đến lỗi đào tạo lớn.
Những hình ảnh dưới đây có thể giúp bạn hình dung điều này.
Các câu trả lời ở trên là tuyệt vời. Sau khi đọc kỹ câu hỏi của bạn, tôi thấy có 2 sự thật quan trọng chúng ta có thể bỏ qua.
Với 2 sự thật, nếu giá trị C thay đổi trong phạm vi hợp lý, siêu phẳng tối ưu sẽ chỉ thay đổi ngẫu nhiên một lượng nhỏ trong lề (khoảng cách được hình thành bởi các vectơ hỗ trợ).
Theo trực giác, giả sử lề trên dữ liệu huấn luyện là nhỏ và / hoặc không có điểm dữ liệu kiểm tra nào trong lề, việc dịch chuyển siêu phẳng tối ưu trong lề sẽ không ảnh hưởng đến lỗi phân loại của bộ kiểm tra.
Tuy nhiên, nếu bạn đặt C = 0, thì SVM sẽ bỏ qua các lỗi và chỉ cần cố gắng giảm thiểu tổng bình phương của các trọng số (w), có lẽ bạn có thể nhận được các kết quả khác nhau trên tập kiểm tra.
C cao (chi phí) có nghĩa là chi phí phân loại sai được tăng lên. Điều này có nghĩa là một hạt nhân linh hoạt sẽ trở nên nguệch ngoạc hơn để tránh các quan sát phân loại sai trong tập huấn luyện.
Nếu hạt nhân là để nguệch ngoạc , mô hình sẽ không khái quát tốt khi dự đoán về dữ liệu mới.
Nếu hạt nhân là thẳng , mô hình sẽ không khái quát tốt khi dự đoán dữ liệu mới.