Tóm tắt các kỹ thuật xác nhận chéo

Tôi tự hỏi liệu có ai biết về một bản tóm tắt các kỹ thuật xác thực chéo với một cuộc thảo luận về sự khác biệt giữa chúng và hướng dẫn khi nào nên sử dụng từng kỹ thuật. Wikipedia có một danh sách các kỹ thuật phổ biến nhất, nhưng tôi tò mò liệu có các kỹ thuật khác không và liệu có bất kỳ phân loại nào cho chúng không.

Ví dụ: tôi chỉ chạy vào một thư viện cho phép tôi chọn một trong các chiến lược sau:

• Không đồng ý
• Bootstrap
• Xác thực chéo K
• Để lại một
• Xác thực chéo
• Cân bằng chéo xác thực chéo
• Phân tầng Giữ
• Bootstrap phân tầng

và tôi đang cố gắng hiểu ý nghĩa phân tầng và cân bằng trong bootstrapping, giữ hoặc CV.

Chúng tôi cũng có thể biến bài đăng này thành wiki cộng đồng nếu mọi người muốn và thu thập một cuộc thảo luận về các kỹ thuật hoặc phân loại ở đây.

Bạn có thể thêm vào danh sách đó:

• Xác nhận lặp lại
• Xác thực chéo nhóm
• Hết túi (đối với rừng ngẫu nhiên và các mô hình đóng bao khác)
• Các 632+ bootstrap

Tôi thực sự không có nhiều lời khuyên về cách sử dụng các kỹ thuật này hoặc khi nào nên sử dụng chúng. Bạn có thể sử dụng gói caret trong R để so sánh CV, Boot, Boot632, bỏ qua một lần, rời khỏi nhóm và xác thực chéo túi.

Nói chung, tôi thường sử dụng boostrap vì nó ít tính toán hơn so với CV gấp k lặp lại, hoặc CV bỏ đi. Boot632 là thuật toán lựa chọn của tôi vì nó không yêu cầu tính toán nhiều hơn bootstrap và được chứng minh là tốt hơn so với xác thực chéo hoặc bootstap cơ bản trong một số tình huống.

Tôi hầu như luôn sử dụng các ước tính lỗi ngoài túi cho các khu rừng ngẫu nhiên, thay vì xác thực chéo. Các lỗi xuất túi thường không thiên vị và các khu rừng ngẫu nhiên mất đủ thời gian để tính toán như hiện tại.

Xác thực chéo K-Fold (CV) ngẫu nhiên chia dữ liệu của bạn thành các phân vùng K và bạn lần lượt giữ một trong những phần K đó làm trường hợp thử nghiệm và gộp các phần K-1 khác lại với nhau làm dữ liệu huấn luyện của bạn. Rời khỏi một lần (LOO) là trường hợp đặc biệt khi bạn lấy các mục dữ liệu N của mình và thực hiện CV N-Fold. Về mặt nào đó, Hold Out là một trường hợp đặc biệt khác, trong đó bạn chỉ chọn một trong các nếp gấp K của mình làm thử nghiệm và không xoay qua tất cả các nếp gấp K.

Theo như tôi biết, CV 10 lần gần như là một vấn đề khó khăn, vì nó sử dụng dữ liệu của bạn một cách hiệu quả và cũng giúp tránh các lựa chọn phân vùng không may mắn. Hold Out không sử dụng hiệu quả dữ liệu của bạn và LOO không mạnh mẽ (hoặc một cái gì đó tương tự), nhưng 10 lần là hoàn toàn đúng.

Nếu bạn biết rằng dữ liệu của bạn chứa nhiều hơn một danh mục và một hoặc nhiều danh mục nhỏ hơn nhiều so với phần còn lại, một số phân vùng ngẫu nhiên K của bạn thậm chí có thể không chứa bất kỳ danh mục nhỏ nào, điều này sẽ rất tệ. Để đảm bảo mỗi phân vùng có tính đại diện hợp lý, bạn sử dụng phân tầng: chia dữ liệu của bạn thành các danh mục và sau đó tạo phân vùng ngẫu nhiên bằng cách chọn ngẫu nhiên và tỷ lệ từ mỗi danh mục.

Tất cả các biến thể trên CV K-Fold chọn từ dữ liệu của bạn mà không cần thay thế. Bootstrap chọn dữ liệu có thay thế, do đó cùng một dữ liệu có thể được bao gồm nhiều lần và một số dữ liệu có thể không được bao gồm trong tất cả. (Mỗi "phân vùng" cũng sẽ có N mục, không giống như K-Fold, trong đó mỗi phân vùng sẽ có các mục N / K.)

(Tuy nhiên, tôi phải thừa nhận rằng tôi không biết chính xác cách bootstrap sẽ được sử dụng trong CV. Nguyên tắc kiểm tra và CV là đảm bảo bạn không kiểm tra dữ liệu mà bạn đã đào tạo, để bạn có được một ý tưởng thực tế hơn về cách kỹ thuật + hệ số của bạn có thể hoạt động trong thế giới thực.)

EDIT: Đã thay thế "Giữ không hiệu quả" bằng "Giữ ngoài không sử dụng hiệu quả dữ liệu của bạn" để giúp làm rõ, theo các nhận xét.

Tôi thấy một trong những tài liệu tham khảo được liên kết đến trong bài viết Wikipedia khá hữu ích

http://citeseerx.ist.psu.edu/viewdoc/doad?doi=10.1.1.48.529&rep=rep1&type=pdf

"Một nghiên cứu về xác thực chéo và bootstrap để ước tính độ chính xác và lựa chọn mô hình", Ron Kohavi, IJCAI95

Nó chứa một so sánh thực nghiệm cho một tập hợp các kỹ thuật CV. Phiên bản tl; dr về cơ bản là "sử dụng CV 10 lần".

... và hướng dẫn khi nào nên sử dụng từng ...

Thật không may, vấn đề đó khó hơn tín dụng. Có ít nhất 2 cách sử dụng chính của xác thực chéo: chọn một mô hình và đánh giá hiệu suất của mô hình.

Nói một cách đơn giản, nếu bạn sử dụng một biến thể CV phân tách dữ liệu bằng tỷ lệ kiểm tra-thử nghiệm cao, điều này có thể tốt hơn để đánh giá. Sử dụng một tập huấn luyện lớn hơn sẽ mô phỏng chính xác hơn hiệu suất của mô hình phù hợp với bộ dữ liệu đầy đủ.

Nhưng tỷ lệ đào tạo-kiểm tra cao có thể tồi tệ hơn để lựa chọn. Hãy tưởng tượng thực sự có một mô hình "tốt nhất" mà bạn "nên" chọn, nhưng tập dữ liệu của bạn khá lớn. Sau đó, các mô hình quá lớn, hơi quá mức sẽ có hiệu suất CV gần như tương đương với mô hình "tốt nhất" (vì bạn sẽ ước tính thành công các tham số giả của chúng là không đáng kể). Tính ngẫu nhiên trong dữ liệu và quy trình chia tách CV / thường sẽ khiến bạn chọn một mô hình quá mức thay vì mô hình thực sự "tốt nhất".

Xem Shao (1993), "Lựa chọn mô hình tuyến tính bằng xác nhận chéo" cho lý thuyết tiệm cận cũ hơn trong trường hợp hồi quy tuyến tính. Yang (2007), "Tính nhất quán của kiểm chứng chéo để so sánh các thủ tục hồi quy" và Yang (2006), "So sánh các phương pháp học để phân loại" đưa ra lý thuyết tiệm cận cho các vấn đề hồi quy và phân loại tổng quát hơn. Nhưng lời khuyên mẫu hữu hạn nghiêm ngặt là khó khăn để đi.