Kiến trúc thần kinh: thiết kế tự động thông tin dữ liệu

Những tiến bộ gần đây trong các mạng lưới thần kinh được tóm tắt bằng một chuỗi các kiến ​​trúc mới lạ được đặc trưng bởi sự phức tạp trong thiết kế ngày càng tăng của nó. Từ LeNet5 (1994) đến AlexNet (2012), đến Overfeat (2013) và GoogleLeNet / Inception (2014), v.v.

Có bất kỳ nỗ lực nào để cho máy quyết định / thiết kế kiến ​​trúc nào sẽ được sử dụng tùy thuộc vào dữ liệu không?

Bạn cũng có thể muốn xem các tài liệu về tiến hóa thần kinh . Ví dụ:

• Zaremba, Wojciech. Ilya Sutskever. Rafal Jozefowicz " Một cuộc thăm dò thực nghiệm về kiến ​​trúc mạng tái phát. " (2015): đã sử dụng tính toán tiến hóa để tìm ra cấu trúc RNN tối ưu.
• Franck Dernoncourt. " Sự hình thành mạng lưới trung gian: một chất nền thần kinh để lựa chọn hành động? Một đánh giá thông qua tính toán tiến hóa. " Luận án thạc sĩ. École Normale Supérieure Ulm. 2011.
• Bayer, Justin, Daan Wierstra, Julian Togelius và Jürgen Schmidhuber. " Phát triển cấu trúc tế bào bộ nhớ cho việc học theo trình tự. " Trong Hội nghị quốc tế về Mạng thần kinh nhân tạo, trang 755-764. Springer Berlin Heidelberg, 2009.: Đã sử dụng tính toán tiến hóa để tìm ra cấu trúc RNN tối ưu.

Học tăng cường:

• Phạm, Hiếu, Melody Y. Guan, Barret Zoph, Quốc V. Le và Jeff Dean. "Tìm kiếm kiến ​​trúc thần kinh hiệu quả thông qua chia sẻ tham số." bản in sẵn arXiv arXiv: 1802.03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Zoph, Barret và Le, Quốc V. Tìm kiếm kiến ​​trúc thần kinh với học tập củng cố. Trong ICLR, 2017. https://arxiv.org/abs/1611.01578
• Jose M Alvarez, Mathieu Salzmann. Học số lượng tế bào thần kinh trong mạng lưới sâu. NIPS 2016. https://arxiv.org/abs/1611,06321

• Bowen Baker, Otkrist Gupta, Nikhil Naik, Ramesh Raskar. Thiết kế kiến ​​trúc mạng thần kinh bằng cách sử dụng học tăng cường. https://arxiv.org/abs/1611.02167

• Barret Zoph, Quốc V. Lê. Tìm kiếm kiến ​​trúc thần kinh với học tăng cường. https://arxiv.org/abs/1611.01578

Điều khoản khác:

• Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas. Học để học theo độ dốc giảm dần theo độ dốc. https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Young Lee Tối ưu hóa siêu âm mạng thần kinh với các quy trình Gaussian để phân loại luật đối thoại , IEEE SLT 2016.
• Cortes, Corinna, Xavi Gonzalvo, Vitaly Kuznetsov, Mehryar Mohri và Scott Yang. "AdaNet: Học tập cấu trúc thích ứng của mạng nơ ron nhân tạo." bản in sẵn arXiv arXiv: 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : Cách tiếp cận tìm hiểu cả cấu trúc của mạng cũng như trọng lượng của nó.

Có vẻ như nghiên cứu đang tiến tới hướng như vậy:

• Miconi, Thomas. " Mạng thần kinh có cấu trúc khác biệt. ", ArXiv (2016): tác giả giới thiệu khái niệm cấu trúc mạng khác biệt để đưa nó vào hàm mục tiêu.

AutoML của Google là một ví dụ như vậy. Nó đã được áp dụng thành công trên bộ dữ liệu ImageNet, kết quả là NASNet , mà khi viết bài này, đã vượt qua tất cả các mô hình khác về độ chính xác. Bài viết chính ở đây:

Học kiến ​​trúc có thể chuyển đổi để nhận dạng hình ảnh có thể mở rộng - Zoph, et. al.