Câu trả lời:
Không có cách trực tiếp để tìm ra số lượng tối ưu của chúng: mọi người thử và xem theo kinh nghiệm (ví dụ: sử dụng xác thực chéo). Các kỹ thuật tìm kiếm phổ biến nhất là tìm kiếm ngẫu nhiên, thủ công và lưới.
Tồn tại các kỹ thuật tiên tiến hơn, chẳng hạn như các quy trình Gaussian, ví dụ: Tối ưu hóa siêu âm mạng thần kinh với các quy trình Gaussian để phân loại hành động đối thoại , IEEE SLT 2016 .
Để có cách tiếp cận thông minh hơn so với tìm kiếm ngẫu nhiên hoặc toàn diện, bạn có thể thử một thuật toán di truyền như NEAT http://nn.cs.utexas.edu/?neat . Tuy nhiên, điều này không đảm bảo để tìm ra một tối ưu toàn cầu, nó chỉ đơn giản là một thuật toán tối ưu hóa dựa trên hiệu suất và do đó dễ bị mắc kẹt trong một tối ưu cục bộ.
Giấy Szegedy C, Vanhoucke V, Ioffe S, et al. Xem xét lại kiến trúc khởi động cho tầm nhìn máy tính [J]. arXiv in sẵn arXiv: 1512.00567, 2015. đưa ra một số nguyên tắc thiết kế chung:
Tránh các tắc nghẽn đại diện, đặc biệt là sớm trong mạng;
Cân bằng chiều rộng và chiều sâu của mạng. Hiệu suất tối ưu của mạng có thể đạt được bằng cách cân bằng số lượng bộ lọc cho mỗi giai đoạn và độ sâu của mạng. Tăng cả chiều rộng và chiều sâu của mạng có thể đóng góp cho mạng chất lượng cao hơn. Tuy nhiên, sự cải thiện tối ưu cho một lượng tính toán không đổi có thể đạt được nếu cả hai được tăng song song. Do đó, ngân sách tính toán nên được phân phối một cách cân bằng giữa độ sâu và chiều rộng của mạng.
Những gợi ý này không thể mang lại cho bạn số lượng tế bào thần kinh tối ưu trong một mạng.
Tuy nhiên, vẫn còn một số mô hình nén nghiên cứu ví dụ như cấu trúc thưa thớt học tập (SSL) Deep Neural Networks , SqueezeNet , Tỉa mạng có thể làm sáng tỏ về làm thế nào để tối ưu hóa các tế bào thần kinh mỗi lớp duy nhất.
Đặc biệt là trong Học tập thưa thớt có cấu trúc của các mạng nơ ron sâu , nó bổ sung một Group Lassothuật ngữ chính quy trong hàm mất để chuẩn hóa các cấu trúc (ví dụ: bộ lọc, kênh, hình dạng bộ lọc và độ sâu lớp) của DNN, cụ thể là loại bỏ một số thành phần ( tức là các bộ lọc, kênh, hình dạng bộ lọc và độ sâu lớp) của cấu trúc mạng và đạt được sự nhỏ gọn và gia tốc đáng kể của mạng, trong khi vẫn mất một độ chính xác phân loại nhỏ.
Bạn biết khi bạn có quá nhiều tế bào thần kinh là khi bạn vượt qua sự phù hợp. Có nghĩa là nó không hoạt động tốt vì NN đang cố gắng kích hoạt trên trận đấu hoàn hảo nhất là điều không thể. Giống như hai con mèo khác nhau có cùng số lượng nguyên tử, hay có thể nói, đó là một máy dò NN chỉ kích hoạt trên hình ảnh con mèo cưng của bạn và không có gì khác. Bạn muốn một phạm vi rộng hơn cho nn để kích hoạt. Giống như trên bất kỳ hình ảnh của con mèo.
Quá mức là một vấn đề không có sửa chữa nhanh chóng thực sự. Bạn có thể bắt đầu với quá ít và sau đó tiếp tục thêm nhiều hơn nữa. Hoặc bắt đầu với rất nhiều và sau đó loại bỏ chúng cho đến khi nó hoạt động đúng.