Tự động điều chỉnh kiến ​​trúc NN: phát minh ra những thứ không cần thiết?

Tôi đang bắt đầu hành trình tiến sĩ của mình và mục tiêu cuối cùng mà tôi đặt ra trước bản thân là phát triển ANN để theo dõi môi trường họ làm việc và tự động điều chỉnh kiến ​​trúc của họ theo vấn đề. Hàm ý rõ ràng là tính tạm thời của dữ liệu: nếu bộ dữ liệu không liên tục và không thay đổi theo thời gian, tại sao lại điều chỉnh?

Câu hỏi lớn là: với sự gia tăng gần đây của học tập sâu, nó vẫn là một chủ đề có liên quan? Các FFNN có cơ hội để tìm cho mình một chỗ đứng trong các vấn đề trôi dạt khái niệm không?

Tôi sợ làm quá tải chủ đề với quá nhiều câu hỏi, nhưng câu hỏi này không hoàn toàn lạc đề: Tôi biết về RNN, nhưng tôi có kinh nghiệm hạn chế (ok, không, hoặc hoàn toàn là lý thuyết) với chúng; Tôi tin rằng thích ứng kiến ​​trúc động phải là một chủ đề có liên quan trong bối cảnh RNNs. Câu hỏi là, nó đã được trả lời chưa, và tôi sẽ phát minh lại cái bánh xe chứ?

PS được đăng chéo lên MetaOptizing

Mạng thần kinh Cascade-Correlation điều chỉnh cấu trúc của chúng bằng cách thêm các nút ẩn trong quá trình đào tạo, vì vậy đây có thể là nơi để bắt đầu. Hầu hết các công việc khác mà tôi thấy là tự động điều chỉnh số lượng lớp, số nút ẩn, v.v. của mạng thần kinh sử dụng thuật toán tiến hóa.

Thật không may, công việc này nằm ngoài khu vực của tôi nên tôi không thể đề xuất bất kỳ giấy tờ hoặc tài liệu tham khảo cụ thể nào để giúp bạn bắt đầu. Tôi có thể nói với bạn rằng tôi chưa thấy bất kỳ công việc nào cố gắng cùng tối ưu hóa cấu trúc và tham số mạng trong cộng đồng học tập sâu. Trên thực tế, hầu hết các kiến ​​trúc học sâu đều dựa trên việc tham lam học một lớp duy nhất tại một thời điểm, do đó làm cho việc học trực tuyến các mạng thần kinh sâu trở thành một khu vực khá hoang sơ (công trình của Martens và cộng sự trên Hessian Free Optimization là một ngoại lệ đáng chú ý).

Một lý do khác để xem xét việc phát triển các cách tiếp cận mới đối với các mạng thần kinh mang tính xây dựng (như thuật toán CC @alto đã đề cập) là trong các ứng dụng nằm ngoài số liệu thống kê . Đặc biệt, trong khoa học thần kinh lý thuyết và khoa học nhận thức, mạng lưới thần kinh mang tính xây dựng thường được sử dụng vì có sự tương đồng về mặt ẩn dụ với sự phát triển và sự hình thành thần kinh. Để biết ví dụ về việc sử dụng nhiều tương quan tầng cho việc này, hãy xem các ấn phẩm của Thomas R. Shultz . Thật không may, cách tiếp cận tương quan theo tầng là không thực tế về mặt sinh học và nếu bạn bị bẻ cong thần kinh học, đáng để xem xét làm thế nào các NN mới với kiến ​​trúc có thể điều chỉnh có thể được sử dụng như mô hình phát triển và / hoặc phát triển thần kinh tốt hơn.