Tại sao học tập sâu không hoạt động tốt với lượng dữ liệu nhỏ?

Tôi mới học sâu, vì vậy đây có thể là một câu hỏi tầm thường. Nhưng tôi tự hỏi tại sao học sâu (hoặc mạng thần kinh) không hoạt động tốt trên dữ liệu được dán nhãn nhỏ. Bất cứ tài liệu nghiên cứu nào tôi đã đọc, bộ dữ liệu của họ đều rất lớn. Theo trực giác điều đó không đáng ngạc nhiên vì bộ não của chúng ta mất rất nhiều thời gian để tự rèn luyện. Nhưng có một bằng chứng toán học hoặc lý do tại sao mạng thần kinh không hoạt động tốt trong những trường hợp như vậy?

neural-networks deep-learning

— bluechill
nguồn

Các mạng thần kinh được sử dụng trong các mô hình học tập sâu điển hình có số lượng nút rất lớn với nhiều lớp và do đó, nhiều tham số phải được ước tính. Điều này đòi hỏi rất nhiều dữ liệu. Một mạng lưới thần kinh nhỏ (có ít lớp hơn và ít tham số miễn phí hơn) có thể được đào tạo thành công với một tập dữ liệu nhỏ - nhưng điều này thường không được mô tả là "học sâu".

— luật sư
nguồn

+1. Độ phức tạp của mô hình phải luôn luôn tăng chậm với kích thước mẫu và học sâu là một mô hình khá phức tạp, ngụ ý rằng nó thường sẽ không hoạt động tốt đối với các cỡ mẫu nhỏ. Các yếu tố của học thống kê ( có sẵn để tải xuống miễn phí ) thảo luận về điều này - rất khuyến khích.

— Stephan Kolassa

Cảm ơn. Điều đó có nghĩa là nếu tôi vẫn cố gắng học một mô hình sử dụng dữ liệu nhỏ, tôi sẽ vượt quá mô hình đó?

— bluechill

Bạn có nhiều khả năng phù hợp hơn nếu bạn có một lượng dữ liệu nhỏ so với số lượng tham số trong mô hình của bạn - điều này đúng với bất kỳ mô hình nào. Bạn có thể thêm các bộ chỉnh âm (ví dụ: phạt các trọng số lớn, thêm nhiễu vào dữ liệu đầu vào, bỏ các đơn vị ẩn, v.v.) vào mô hình của bạn để tránh điều này, nhưng đó là một nghệ thuật thay vì khoa học vào lúc này.

— lmjohns3