Có mạng lưới thần kinh năng động?


8

Có mạng lưới thần kinh nào có thể quyết định thêm / xóa nơ-ron (hoặc thay đổi mô hình nơ-ron / chức năng kích hoạt hoặc thay đổi ý nghĩa được gán cho nơ-ron), liên kết hoặc thậm chí hoàn thành các lớp trong thời gian thực hiện không?

Tôi đoán rằng các mạng lưới thần kinh như vậy vượt qua sự phân tách các giai đoạn học tập / suy luận thông thường và chúng liên tục sống cuộc sống của chúng trong đó học tập và tự cải thiện xảy ra cùng với việc thực hiện suy luận và ra quyết định thực tế mà các mạng lưới thần kinh này được xây dựng. Thực tế, nó có thể là một mạng lưới thần kinh hoạt động như một cỗ máy của Godel .

Tôi đã tìm thấy thuật ngữ mạng thần kinh động nhưng nó được kết nối để thêm một số chức năng trì hoãn và không có gì nữa.

Tất nhiên, các mạng tự cải thiện như vậy xác định lại hoàn toàn chiến lược học tập, có thể, các phương pháp gradient bắn một lần không thể áp dụng cho chúng.

Câu hỏi của tôi được kết nối với sự tích hợp biểu tượng thần kinh, ví dụ: Lý luận nhận thức thần kinh-biểu tượng của Artur S. D'Avila Garcez, 2009 . Thông thường phương pháp này gán các nơ-ron riêng lẻ cho các biến (hoặc nhóm nơ-ron theo công thức / quy tắc) trong tập hợp các công thức trong một số cơ sở kiến ​​thức. Tất nhiên, nếu cơ sở tri thức mở rộng (ví dụ từ đọc cảm biến hoặc từ suy luận không đơn điệu bên trong) thì nên thêm các biến mới và do đó mạng lưới thần kinh cũng nên được mở rộng (hoặc ký hợp đồng).


1
Theo như kinh nghiệm của tôi, tôi đang tìm kiếm các thuật toán di truyền, họ giữ một quần thể mạng lưới thần kinh và hợp nhất chúng lại với nhau tại các điểm ngẫu nhiên cho thấy chúng hoạt động tốt như thế nào
oren trả thù

Nhưng GA bên ngoài như vậy là bộ điều khiển bên ngoài không có khả năng học tập. Tôi quan tâm nhất đến các mạng lưới thần kinh tự nhận thức rằng chính họ có thể đưa ra các quyết định đó.
TomR


1
hyperNEAT có khả năng thay đổi cấu trúc của nó tức là tính dẻo dai. eplex.cs.ucf.edu/hyperNEATpage

Câu trả lời:


3

Tôi chủ yếu nghiên cứu các HMM và các mô hình như vậy được gọi là HMM vô hạn trong miền cụ thể đó.

Tôi tin rằng những gì bạn đang tìm kiếm được gọi là Mạng lưới thần kinh vô hạn. Không có quyền truy cập vào các ấn phẩm khoa học, tôi thực sự không thể tham khảo bất kỳ công việc nào ở đây. Tuy nhiên, tôi đã tìm thấy kho lưu trữ GitHub này: https://github.com/kutoga/ gửi_deeper cung cấp một số triển khai và một tài liệu có nhiều tài liệu tham khảo.


3

Bài viết này về Mạng nơ ron có thể mở rộng linh hoạt (DEN) (của Harshvardhan Gupta) dựa trên bài viết này Học tập suốt đời với các mạng có thể mở rộng linh hoạt (của Jeongtae Lee, Jaehong Yoon, Eunho Yang, Sung Ju Hwang)

Đây là 3 giải pháp để tăng dung lượng của mạng nếu cần giữ lại bất kỳ thông tin hữu ích nào từ mô hình cũ và huấn luyện mô hình mới:

  • Đào tạo lại có chọn lọc
  • Mở rộng mạng động 
  • Chia / trùng lặp mạng

Đối với tôi, dường như mạng lưới thần kinh như vậy là năng động và cải thiện. Như vậy, họ trả lời một phần câu hỏi của bạn. Nếu họ không xin lỗi về điều đó.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.