Có bất kỳ miền nào mà Mạng lưới thần kinh Spiking vượt trội hơn các thuật toán khác (không đi xe đạp) không?

Tôi đang đọc về các kỹ thuật điện toán hồ chứa như Echo State Networks và Liquid State Machines . Cả hai phương pháp đều liên quan đến việc cung cấp đầu vào cho một quần thể tế bào thần kinh đi bộ được kết nối ngẫu nhiên (hoặc không) và thuật toán đọc tương đối đơn giản tạo ra đầu ra (ví dụ hồi quy tuyến tính). Trọng lượng quần thể tế bào thần kinh là cố định hoặc được đào tạo thông qua quy tắc hoạt động địa phương giống như tiếng Do Thái như STDP .

Những kỹ thuật này hoạt động tốt khi mô hình hóa các đầu vào đa chiều có các thành phần thời gian quan trọng. Tuy nhiên, tính toán các tiềm năng màng tế bào thần kinh tăng vọt liên quan đến tích hợp phương trình vi phân và có thể tốn kém về mặt tính toán.

Có bất kỳ ví dụ nào về độ phức tạp tính toán bổ sung của các kỹ thuật điện toán hồ chứa lớn hơn nhiều so với lợi ích trong một nhiệm vụ dự đoán hoặc phân loại không?

Ví dụ, có trường hợp nào về kỹ thuật SNN vượt trội so với các kiến ​​trúc phức tạp tương đương dựa trên RNN, ANN, SVM, DNN, CNN hoặc các thuật toán khác không?

Câu trả lời của tôi đến từ kinh nghiệm nhiều hơn từ các thí nghiệm hoặc điểm chuẩn được công bố.

Theo như tôi biết, Mạng lưới thần kinh Spiking không vượt trội hơn các thuật toán khác trong bất kỳ nhiệm vụ nào. Theo các ấn phẩm gần đây, đã có những tiến bộ về robot và điện toán hồ chứa, nhưng các thuật toán điện toán hồ chứa cũng tốt như các thuật toán khác (như học tăng cường) theo các ấn phẩm gần đây. Có tin đồn rằng một số công ty quan tâm đến các thuật toán này vì họ đã thuê một vài nhà nghiên cứu điện toán hồ chứa gần đây nhưng đây chỉ là tin đồn.

Dưới đây là một trong những ấn phẩm gần đây nhất nêu chi tiết những tiến bộ và hạn chế của điện toán hồ chứa trong chế tạo robot https://www.cs.unm.edu/~afaust/MLPC15_proceedings/MLPC15_apers_Polydoros.pdf

Tôi bắt đầu thử nghiệm với Liquid State Machines ở trường đại học bằng kiến ​​trúc đề xuất của Wolfgang Maass. Nó trông đầy hứa hẹn, đặc biệt là ý tưởng về các tế bào thần kinh ức chế tạo thành một phần của mạch. Nhưng trong thực tế sử dụng các thuật toán này trong các ứng dụng dữ liệu thực tế (phân loại ngôn ngữ, phân loại hình ảnh trong số các thuật toán khác) là không đủ để tiến gần đến các điểm chuẩn như RNN, ANN, SVM. Đôi khi, ngay cả mạng lưới thần kinh đa lớp vanilla hoạt động tốt hơn so với Máy trạng thái lỏng. Tôi hiểu rằng các loại mô hình này tốt cho robot và các nhiệm vụ liên quan đến tự trị khác như cảm biến và điều hướng tự trị (nhưng đó không phải là lĩnh vực nghiên cứu của tôi) nhưng không nhiều cho các loại dữ liệu khác. Có một vài phòng thí nghiệm, chủ yếu ở châu Âu làm việc với thuật toán này nhưng cho đến nay tôi chưa nghe thấy nhiều tiến bộ trong lĩnh vực này trong những năm qua.

Tôi tin rằng các thuật toán lấy cảm hứng từ não là bước tiến lớn tiếp theo trong AI, và trong khi nhiều công ty như Numenta và Deepmind đang nghiên cứu theo hướng này, thì cho đến ngày nay vẫn còn rất nhiều việc phải làm để có bước đột phá tiếp theo AI.