Có một quy tắc ngón tay cái nào về cách chia tập dữ liệu thành các tập huấn luyện và xác nhận không?

Có một quy tắc chung nào về cách phân chia dữ liệu tốt nhất thành các tập huấn luyện và xác nhận không? Là một chia thậm chí 50/50 khuyến khích? Hoặc có những lợi thế rõ ràng của việc có nhiều dữ liệu đào tạo liên quan đến dữ liệu xác nhận (hoặc ngược lại)? Hay sự lựa chọn này phụ thuộc khá nhiều vào ứng dụng?

Tôi đã chủ yếu sử dụng 80% / 20% dữ liệu đào tạo và xác nhận, nhưng tôi đã chọn bộ phận này mà không có bất kỳ lý do chính nào. Ai đó có nhiều kinh nghiệm hơn trong học máy có thể tư vấn cho tôi?

Có hai mối quan tâm cạnh tranh: với ít dữ liệu đào tạo, ước tính tham số của bạn có phương sai lớn hơn. Với ít dữ liệu thử nghiệm, thống kê hiệu suất của bạn sẽ có phương sai lớn hơn. Nói rộng hơn, bạn nên quan tâm đến việc phân chia dữ liệu sao cho phương sai không quá cao, điều này có liên quan nhiều hơn đến số lượng phiên bản tuyệt đối trong mỗi danh mục thay vì tỷ lệ phần trăm.

Nếu bạn có tổng cộng 100 trường hợp, có lẽ bạn bị mắc kẹt với xác thực chéo vì không có sự phân chia đơn lẻ nào sẽ mang lại cho bạn phương sai thỏa đáng trong ước tính của bạn. Nếu bạn có 100.000 trường hợp, điều đó thực sự không quan trọng cho dù bạn chọn chia 80:20 hay chia 90:10 (thực sự bạn có thể chọn sử dụng ít dữ liệu đào tạo hơn nếu phương pháp của bạn đặc biệt chuyên sâu về mặt tính toán).

Giả sử bạn có đủ dữ liệu để thực hiện dữ liệu kiểm tra được tổ chức phù hợp (thay vì xác thực chéo), sau đây là một cách mang tính hướng dẫn để xử lý các phương sai:

1. Chia dữ liệu của bạn thành đào tạo và kiểm tra (80/20 thực sự là một điểm khởi đầu tốt)
2. Chia dữ liệu đào tạo thành đào tạo và xác nhận (một lần nữa, 80/20 là một sự phân chia công bằng).
3. Các mẫu lựa chọn ngẫu nhiên của dữ liệu đào tạo của bạn, huấn luyện bộ phân loại với cái này và ghi lại hiệu suất trên bộ xác nhận
4. Hãy thử một loạt các lần chạy với số lượng dữ liệu đào tạo khác nhau: lấy mẫu ngẫu nhiên 20% trong số đó, giả sử, 10 lần và quan sát hiệu suất trên dữ liệu xác nhận, sau đó thực hiện tương tự với 40%, 60%, 80%. Bạn sẽ thấy cả hiệu suất cao hơn với nhiều dữ liệu hơn, nhưng cũng có phương sai thấp hơn trên các mẫu ngẫu nhiên khác nhau
5. Để xử lý phương sai do kích thước của dữ liệu thử nghiệm, hãy thực hiện quy trình tương tự ngược lại. Huấn luyện trên tất cả các dữ liệu đào tạo của bạn, sau đó lấy mẫu ngẫu nhiên một tỷ lệ phần trăm dữ liệu xác thực của bạn một số lần và quan sát hiệu suất. Bây giờ bạn sẽ thấy rằng hiệu suất trung bình trên các mẫu nhỏ của dữ liệu xác thực của bạn gần giống với hiệu suất trên tất cả dữ liệu xác thực, nhưng phương sai cao hơn nhiều với số lượng mẫu thử nghiệm nhỏ hơn

Bạn sẽ ngạc nhiên khi thấy rằng 80/20 là một tỷ lệ khá phổ biến, thường được gọi là nguyên tắc Pareto . Đó thường là đặt cược an toàn nếu bạn sử dụng tỷ lệ đó.

Tuy nhiên, tùy thuộc vào phương pháp đào tạo / xác nhận bạn sử dụng, tỷ lệ có thể thay đổi. Ví dụ: nếu bạn sử dụng xác thực chéo 10 lần, thì bạn sẽ kết thúc với bộ xác thực 10% ở mỗi lần.

Đã có một số nghiên cứu về tỷ lệ thích hợp giữa tập huấn luyện và tập xác thực :

Tỷ lệ các mẫu dành riêng cho bộ xác thực phải tỷ lệ nghịch với căn bậc hai của số lượng tham số điều chỉnh miễn phí.

Trong kết luận của họ, họ chỉ định một công thức:

Bộ xác nhận (v) cho tỷ lệ kích thước của tập huấn luyện (t), v / t, tỷ lệ như ln (N / h-max), trong đó N là số gia đình của người nhận biết và h-max là độ phức tạp lớn nhất của các gia đình đó.

Ý nghĩa của sự phức tạp là:

Mỗi họ của bộ nhận dạng được đặc trưng bởi độ phức tạp của nó, có thể có hoặc không liên quan đến kích thước VC , chiều dài mô tả, số lượng tham số có thể điều chỉnh hoặc các biện pháp phức tạp khác.

Lấy quy tắc đầu tiên (bộ ievalidation phải tỷ lệ nghịch với căn bậc hai của số tham số điều chỉnh miễn phí), bạn có thể kết luận rằng nếu bạn có 32 tham số có thể điều chỉnh, căn bậc hai của 32 là ~ 5,65, phân số phải là 1 / 5.65 hoặc 0.177 (v / t). Khoảng 17,7% nên được dành riêng để xác nhận và 82,3% cho đào tạo.

Năm ngoái, tôi đã tham gia khóa học máy học trực tuyến của Giáo sư Andrew Ng. Đề nghị của ông là:

Đào tạo : 60%

Xác nhận chéo : 20%

Kiểm tra : 20%

Vâng, bạn nên nghĩ về một điều nữa.

Nếu bạn có bộ dữ liệu thực sự lớn, như 1.000.000 ví dụ, việc chia 80/10/10 có thể không cần thiết, bởi vì 10% = 100.000 ví dụ là không cần thiết để cho biết mô hình đó hoạt động tốt.

Có thể 99 / 0,5 / 0,5 là đủ, bởi vì 5.000 ví dụ có thể đại diện cho hầu hết phương sai trong dữ liệu và bạn có thể dễ dàng biết mô hình đó hoạt động tốt dựa trên 5.000 ví dụ này trong thử nghiệm và dev.

Giả sử bạn có ít dữ liệu hơn, tôi khuyên bạn nên thử 70%, 80% và 90% và kiểm tra xem kết quả nào tốt hơn. Trong trường hợp 90% có khả năng cho bài kiểm tra 10% bạn có độ chính xác kém.

Có lẽ 63,2% / 36,8% là một lựa chọn hợp lý. Lý do sẽ là nếu bạn đã có một cỡ mẫu tổng n và muốn mẫu ngẫu nhiên với thay thế (hay còn gọi là tái mẫu, như trong bootstrap thống kê) n trường hợp ra khỏi ban đầu n , xác suất của một trường hợp cá nhân được lựa chọn trong mẫu lại sẽ xấp xỉ 0,632, với điều kiện n không quá nhỏ, như được giải thích ở đây: https://stats.stackexchange.com/a/88993/16263

Đối với mẫu n = 250, xác suất của một trường hợp riêng lẻ được chọn cho mẫu lại thành 4 chữ số là 0,6329. Đối với mẫu n = 20000, xác suất là 0,6321.

Tất cả phụ thuộc vào dữ liệu trong tay. Nếu bạn có lượng dữ liệu đáng kể thì 80/20 là một lựa chọn tốt như đã đề cập ở trên. Nhưng nếu bạn không Xác thực chéo với tỷ lệ phân chia 50/50 có thể giúp bạn nhiều hơn và ngăn bạn tạo một mô hình phù hợp với dữ liệu đào tạo của bạn.