Làm thế nào ít ví dụ đào tạo là quá ít khi đào tạo một mạng lưới thần kinh?

Tôi là người mới bắt đầu cố gắng kết hợp dự án đầu tiên của mình. Tôi đã có một dự án phân loại bài hát trong đầu, nhưng vì tôi sẽ được dán nhãn thủ công, tôi chỉ có thể kết hợp hợp lý khoảng 1000 bài hát, hoặc 60 giờ âm nhạc.

Tôi sẽ phân loại với một số lớp, vì vậy có thể một lớp sẽ có ít nhất 50 - 100 bài hát trong tập huấn luyện - điều này dường như quá ít! Có một quy tắc chung cho việc cần bao nhiêu dữ liệu để đào tạo một mạng lưới thần kinh để cho nó hoạt động?

Chỉnh sửa: Tôi đã nghĩ đến việc sử dụng LSTM vanilla. Các tính năng đầu vào sẽ có kích thước 39, kích thước đầu ra 6, lần thử đầu tiên của tôi cho kích thước lớp ẩn sẽ là 100.

Nó thực sự phụ thuộc vào dữ liệu của bạn và kiến ​​trúc mạng. Một nguyên tắc nhỏ mà tôi đã đọc (2) là vài nghìn mẫu mỗi lớp để mạng lưới thần kinh bắt đầu hoạt động rất tốt.

Trong thực tế, mọi người thử và xem. Không hiếm khi tìm thấy các nghiên cứu cho thấy kết quả tốt với tập huấn luyện nhỏ hơn 1000 mẫu.

Một cách tốt để đánh giá đại khái mức độ có thể có ích khi có nhiều mẫu đào tạo hơn là vẽ biểu đồ hiệu suất của mạng lưới thần kinh dựa trên kích thước của tập huấn luyện, ví dụ từ (1):

• (1) Dernoncourt, Franck, Ji Young Lee, Ozlem Uzuner và Peter Szolovits. "Không xác định ghi chú bệnh nhân với mạng thần kinh tái phát " arXiv in sẵn arXiv: 1606.03475 (2016).

• (2) Cireşan, Dan C., Ueli Meier và Jürgen Schmidhuber. "Chuyển giao việc học cho các ký tự Latin và Trung Quốc với mạng lưới thần kinh sâu sắc." Trong Hội nghị chung quốc tế năm 2012 về mạng lưới thần kinh (IJCNN), trang 1-6. IEEE, 2012. https://scholar.google.com/scholar?cluster=7452424507909578812&hl=vi&as_sdt=0,22 ; http://people.idsia.ch/~ciresan/data/ijcnn2012_v9.pdf :

  Đối với các nhiệm vụ phân loại với vài nghìn mẫu trên mỗi lớp , lợi ích của việc xử lý trước (không được giám sát hoặc giám sát) là không dễ dàng để chứng minh.