Với xác thực chéo k-Fold, bạn có trung bình tất cả các mô hình


13

Khi thực hiện xác thực chéo k-Fold, tôi hiểu rằng bạn có được số liệu chính xác bằng cách chỉ tất cả các nếp gấp trừ một lần ở đó và đưa ra dự đoán, sau đó lặp lại quy trình này lần. Sau đó, bạn có thể chạy các số liệu chính xác trên tất cả các trường hợp của mình (độ chính xác, thu hồi,% được phân loại chính xác), điều này phải giống như khi bạn tính toán chúng mỗi lần và tính trung bình kết quả (sửa tôi nếu tôi sai).k

Kết quả cuối cùng bạn muốn là một mô hình cuối cùng.

Bạn có tính trung bình các mô hình thu được để làm cho tập hợp dự đoán của bạn kết thúc với mô hình có số liệu chính xác thu được bằng phương pháp trên không?k

Câu trả lời:


15

Mục đích của xác nhận chéo Fold không phải là để tạo ra một mô hình; đó là so sánh các mô hình.k

Kết quả của một thử nghiệm xác thực chéo có thể cho bạn biết rằng Support Vector Machines thực hiện Naive Bayes trên dữ liệu của bạn hoặc các tham số siêu phân loại nên được đặt thành c cho tập dữ liệu cụ thể này. Được trang bị kiến ​​thức này, sau đó bạn huấn luyện một bộ phân loại "sản xuất" với TẤT CẢ các dữ liệu có sẵn và áp dụng nó cho vấn đề của bạn.

Trong nhiều trường hợp, thậm chí không rõ bạn sẽ lấy trung bình một số mô hình như thế nào. Ví dụ, trung bình của ba cây quyết định hoặc phân loại lân cận gần nhất là gì?

Điều quan trọng cần lưu ý là kết quả xác thực chéo là ước tính, không phải bảo đảm và những ước tính này có giá trị hơn nếu phân loại sản xuất được đào tạo với chất lượng (và số lượng) dữ liệu tương tự. Đã có một lượng công việc hợp lý trong việc phát triển các cách sử dụng các ước tính này để thực hiện suy luận; nghĩa là, theo một cách có ý nghĩa thống kê, phương pháp A nói chung là vượt trội so với phương pháp B trên các dữ liệu này.


2
Một tài liệu tham khảo tốt về việc sử dụng ước tính xác thực chéo k-lần cho suy luận là gì? Tôi rất muốn đọc về điều đó nếu bạn có một chia sẻ tốt.
xúc tu

1
Một nơi tốt để bắt đầu có thể là iro.umontreal.ca/~lisa/bib/pub_subject/finance/pointeurs/, nhưng có một loạt các cách tiếp cận khác nhau.
Matt Krause

1
một điều nữa cần làm rõ: khi chúng ta huấn luyện bộ phân loại "sản xuất" bằng cách sử dụng tất cả dữ liệu, làm thế nào chúng ta hiểu khi nào nên dừng lại?
Anton
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.