Là xác nhận chéo đủ để ngăn chặn quá mức?

Nếu tôi có dữ liệu và tôi chạy phân loại (giả sử rừng ngẫu nhiên trên dữ liệu này) với xác thực chéo (giả sử 5 lần), tôi có thể kết luận rằng không có phương pháp nào phù hợp trong phương pháp của mình không?

Không có gì. Tuy nhiên, xác nhận chéo giúp bạn đánh giá bằng bao nhiêu phương pháp của bạn.

Chẳng hạn, nếu dữ liệu huấn luyện của bạn R bình phương của hồi quy là 0,50 và bình phương R có giá trị chéo là 0,48, bạn hầu như không có bất kỳ quá mức nào và bạn cảm thấy tốt. Mặt khác, nếu bình phương R có giá trị chéo chỉ là 0,3 ở đây, thì một phần đáng kể của hiệu suất mô hình của bạn xuất phát do quá mức và không phải từ các mối quan hệ thực sự. Trong trường hợp như vậy, bạn có thể chấp nhận hiệu suất thấp hơn hoặc thử các chiến lược mô hình hóa khác nhau với ít quá mức.

Xác nhận chéo là một kỹ thuật tốt, nhưng không hoàn hảo, để giảm thiểu sự phù hợp quá mức.

Xác thực chéo sẽ không hoạt động tốt với dữ liệu bên ngoài nếu dữ liệu bạn có không đại diện cho dữ liệu bạn sẽ cố gắng dự đoán!

Đây là hai tình huống cụ thể khi xác nhận chéo có sai sót:

• Bạn đang sử dụng quá khứ để dự đoán tương lai: thường là một giả định lớn để cho rằng các quan sát trong quá khứ sẽ đến từ cùng một dân số có cùng phân phối như các quan sát trong tương lai. Xác thực chéo trên một tập dữ liệu được rút ra từ quá khứ sẽ không bảo vệ chống lại điều này.
• Có sự sai lệch trong dữ liệu bạn thu thập: dữ liệu bạn quan sát khác một cách có hệ thống với dữ liệu bạn không quan sát. Ví dụ, chúng tôi biết về sự thiên vị của người trả lời ở những người chọn thực hiện một cuộc khảo sát.

Ngoài ra tôi có thể giới thiệu những video này từ khóa học Stanford về Học thống kê. Những video này đi sâu về cách sử dụng hiệu quả định giá chéo.

Xác thực chéo và Bootstrap (14:01)

Xác thực chéo K-Fold (13:33)

Xác thực chéo: Cách đúng và sai (10:07)