Làm cách nào để chọn kích thước tập huấn, xác thực chéo và tập kiểm tra cho dữ liệu cỡ mẫu nhỏ?

Giả sử tôi có cỡ mẫu nhỏ, ví dụ N = 100 và hai lớp. Tôi nên chọn kích cỡ tập huấn, xác thực chéo và tập kiểm tra cho máy học như thế nào?

Tôi sẽ chọn trực giác

• Tập kích thước tập là 50
• Xác thực chéo đặt kích thước 25 và
• Kích thước thử nghiệm là 25.

Nhưng có lẽ điều này làm cho ít nhiều ý nghĩa. Làm thế nào tôi thực sự nên quyết định những giá trị này? Tôi có thể thử các tùy chọn khác nhau không (mặc dù tôi đoán nó không thích hợp hơn ... tăng khả năng học tập quá mức)?

Nếu tôi có nhiều hơn hai lớp thì sao?

• Bạn chắc chắn đã tìm thấy câu hỏi rất giống nhau: Lựa chọn K trong xác thực chéo K-Fold ?
  (Bao gồm liên kết đến công việc của Ron Kohavi)

• Nếu kích thước mẫu của bạn đã nhỏ, tôi khuyên bạn nên tránh mọi tối ưu hóa theo hướng dữ liệu. Thay vào đó, hãy giới hạn bản thân trong các mô hình mà bạn có thể sửa các siêu đường kính bằng kiến ​​thức về mô hình và ứng dụng / dữ liệu. Điều này làm cho một trong các mức xác thực / kiểm tra không cần thiết, để lại nhiều trường hợp của bạn cho việc đào tạo các mô hình thay thế trong xác nhận chéo còn lại.
  IMHO, dù sao bạn cũng không thể mua những mẫu rất lạ mắt với cỡ mẫu đó. Và gần như chắc chắn bạn không thể đủ khả năng để thực hiện bất kỳ so sánh mô hình có ý nghĩa nào (chắc chắn là không trừ khi bạn sử dụng quy tắc tính điểm phù hợp và kỹ thuật phân tích được ghép nối).
  Quyết định này quan trọng hơn nhiều so với lựa chọn chính xác của (giả sử, gấp 5 lần so với 10 lần) - với ngoại lệ quan trọng không bỏ qua một lần nào$k$ đề nghị nói chung.

• Thật thú vị, với các vấn đề phân loại cỡ mẫu rất nhỏ này, việc xác nhận thường khó khăn hơn (về nhu cầu kích thước mẫu) so với việc đào tạo một mô hình phong nha. Nếu bạn cần bất kỳ tài liệu nào về vấn đề này, hãy xem ví dụ như bài viết của chúng tôi về lập kế hoạch kích thước mẫu:
  Beleites, C. và Neugebauer, U. và Bocklitz, T. và Krafft, C. và Popp, J.: Lập kế hoạch cỡ mẫu cho các mô hình phân loại. Hậu môn Chim Acta, 2013, 760, 25-33.
  DOI: 10.1016 / j.aca.2012.11.007
  bản thảo được chấp nhận trên arXiv: 1211.1323

• Một điểm quan trọng khác là tận dụng tốt khả năng lặp lại / lặp lại xác nhận chéo (đó là một trong những lý do chống lại LOO): điều này cho phép bạn đo lường sự ổn định của các dự đoán chống nhiễu loạn (ví dụ như một vài trường hợp khác nhau) của khóa đào tạo dữ liệu.

  Văn chương:

  • Beleites, C. & Salzer, R.: Đánh giá và cải thiện tính ổn định của các mô hình hóa học trong các tình huống cỡ mẫu nhỏ Hậu môn Bioanal Chem, 2008, 390, 1261-1271.
    DOI: 10.1007 / s00216-007-1818-6
  • Dixon, SJ; Heinrich, N.; Holmboe, M.; Schaefer, ML; Sậy, RR; Trevejo, J. & Brereton, RG: Áp dụng các phương pháp phân loại khi kích thước nhóm không đồng đều bằng cách kết hợp các xác suất trước với ba phương pháp phổ biến: Ứng dụng vào mô phỏng và hóa trị tiết niệu chuột, Chemom Intell Lab Syst, 2009, 99, 111-120.
    DOI: 10.1016 / j.oololab.2009.07.016

• Nếu bạn quyết định chạy một lần duy nhất trên bộ kiểm tra giữ (không lặp lại / lặp lại),

  • Hãy nhớ rằng hầu hết các lỗi bạn có thể làm với xác nhận chéo (điều này sẽ dẫn đến sai lệch lạc quan) cũng có thể xảy ra với một bộ kiểm tra giữ lại.
  • kiểm tra độ rộng của khoảng tin cậy kết quả cho phép đo hiệu suất và đảm bảo rằng điều này cho phép giải thích kết quả có ý nghĩa (xem giấy lập kế hoạch cỡ mẫu).

Cho rằng kích thước mẫu của bạn nhỏ, một thực hành tốt sẽ là bỏ qua phần xác thực chéo và sử dụng tỷ lệ 60 - 40 hoặc 70 - 30.

Như bạn có thể thấy trong phần 2.8 của Giới thiệu về Clementine và Khai thác dữ liệu và cả trong Thư viện MSDN - Khai thác dữ liệu - Đào tạo và kiểm tra Đặt tỷ lệ 70 - 30 là phổ biến. Theo bài giảng Machine Learning của Andrew Ng, tỷ lệ 60 - 20 - 20 được khuyến nghị.

Hy vọng tôi đã có ích. Trân trọng.