Giải thích trực quan về Echo State Networks là gì?

Tôi chưa quen với Mạng thần kinh tái phát (RNN) và vẫn đang tìm hiểu các khái niệm. Tôi hiểu ở mức độ trừu tượng rằng Mạng trạng thái Echo (ESN) có thể (tái) tạo ra một chuỗi các đầu vào, tức là một tín hiệu, ngay cả sau khi đầu vào đã bị xóa. Tuy nhiên, tôi thấy bài viết của Học viện quá khó để nắm bắt và hiểu hoàn toàn.

Ai đó có thể vui lòng giải thích cách học tập hoạt động toán học ở dạng đơn giản nhất có thể.

Mạng trạng thái Echo là một ví dụ của khái niệm tổng quát hơn về tính toán hồ chứa . Ý tưởng cơ bản đằng sau ESN là nhận được các lợi ích của RNN (xử lý một chuỗi các đầu vào phụ thuộc lẫn nhau, tức là phụ thuộc thời gian như tín hiệu) nhưng không có vấn đề về đào tạo RNN truyền thống như vấn đề độ dốc biến mất .

ESN đạt được điều này bằng cách có một kho chứa các nơ-ron kết nối thưa thớt tương đối lớn bằng cách sử dụng chức năng chuyển sigmoidal (liên quan đến kích thước đầu vào, tương đương 100-1000 đơn vị). Các kết nối trong hồ chứa được chỉ định một lần và hoàn toàn ngẫu nhiên; trọng lượng hồ chứa không được đào tạo. Các nơ-ron đầu vào được kết nối với bể chứa và cung cấp các kích hoạt đầu vào vào bể chứa - chúng cũng được gán các trọng số ngẫu nhiên không được đào tạo. Các trọng số duy nhất được đào tạo là các trọng số đầu ra kết nối hồ chứa với các nơ-ron đầu ra.

Trong đào tạo, các đầu vào sẽ được đưa vào bể chứa và đầu ra của giáo viên sẽ được áp dụng cho các đơn vị đầu ra. Các trạng thái hồ chứa được nắm bắt theo thời gian và được lưu trữ. Khi tất cả các đầu vào đào tạo đã được áp dụng, một ứng dụng đơn giản của hồi quy tuyến tính có thể được sử dụng giữa các trạng thái hồ chứa bị bắt và các đầu ra đích. Các trọng số đầu ra này sau đó có thể được tích hợp vào mạng hiện có và được sử dụng cho các đầu vào mới.

Ý tưởng là các kết nối ngẫu nhiên thưa thớt trong hồ chứa cho phép các trạng thái trước đó "dội lại" ngay cả khi chúng đã đi qua, do đó, nếu mạng nhận được một đầu vào mới giống với thứ mà nó được đào tạo, động lực học trong hồ chứa sẽ bắt đầu theo quỹ đạo kích hoạt phù hợp với đầu vào và theo cách đó có thể cung cấp tín hiệu phù hợp với những gì nó được đào tạo và nếu được đào tạo tốt, nó sẽ có thể khái quát từ những gì nó đã thấy, theo các quỹ đạo kích hoạt sẽ có ý nghĩa đưa ra tín hiệu đầu vào lái xe chứa.

Ưu điểm của phương pháp này là trong quy trình đào tạo cực kỳ đơn giản vì hầu hết các trọng số chỉ được chỉ định một lần và ngẫu nhiên. Tuy nhiên, họ có thể nắm bắt các động lực phức tạp theo thời gian và có thể mô hình hóa các thuộc tính của các hệ thống động lực. Cho đến nay, các tài liệu hữu ích nhất tôi đã tìm thấy trên ESN là:

• Hướng dẫn về đào tạo RNNs của Herbert Jaeger (người phụ trách trang Scholarpedia trên ESNs)

• Hướng dẫn thực hành để áp dụng mạng Echo State của Mantas Lukoševičius

Cả hai đều có những giải thích dễ hiểu để đi cùng với chủ nghĩa hình thức và lời khuyên nổi bật để tạo ra một triển khai với hướng dẫn chọn các giá trị tham số phù hợp.

UPDATE: Các cuốn sách sâu Learning từ Goodfellow, Bengio, và Courville có một cuộc thảo luận cấp cao một chút chi tiết hơn, nhưng vẫn tốt đẹp của Nhà nước Networks Echo. Mục 10.7 thảo luận về vấn đề độ dốc biến mất (và bùng nổ) và những khó khăn khi học phụ thuộc dài hạn. Mục 10.8 là tất cả về Mạng lưới Nhà nước Echo. Nó đặc biệt đi sâu vào chi tiết về lý do tại sao việc chọn trọng lượng hồ chứa có giá trị bán kính quang phổ phù hợp là rất quan trọng - nó hoạt động cùng với các đơn vị kích hoạt phi tuyến để khuyến khích sự ổn định trong khi vẫn truyền thông tin theo thời gian.

Học trong ESN không bắt buộc phải điều chỉnh trọng số, tương ứng, lớp đầu ra sẽ học được đầu ra nào sẽ tạo ra cho trạng thái hiện tại mà mạng có. Trạng thái bên trong dựa trên động lực học mạng và được gọi là trạng thái hồ chứa động. Để hiểu cách các trạng thái hồ chứa hình thành, chúng ta cần xem xét cấu trúc liên kết của ESN.

(Các) đơn vị đầu vào được kết nối với các nơ-ron trong các đơn vị bên trong (đơn vị hồ chứa), các trọng số được khởi tạo ngẫu nhiên. Các đơn vị hồ chứa được kết nối ngẫu nhiên và thưa thớt và cũng có trọng lượng ngẫu nhiên. Đơn vị đầu ra cũng được kết nối với tất cả các đơn vị hồ chứa, do đó nhận được trạng thái hồ chứa và tạo ra một đầu ra tương ứng.

$t$$t$

Trước khi chúng tôi có thể giải thích cách đào tạo hoạt động chi tiết, chúng tôi phải giải thích và xác định một số điều:

$T$$t$$W_{fb}$

Biến xác định:

• $r$
• $o$
• $t$
• $o$
• $T$$t$$o$

Cuối cùng, làm thế nào để đào tạo làm việc chi tiết?

• $t$$M$$t$$r$
• $W_{out}$$M \bullet W_{out} = T -> W_{out} = M \bullet T^{-1}$

Bởi vì học rất nhanh, chúng tôi có thể thử nhiều cấu trúc liên kết mạng để có được một cấu trúc phù hợp.

Để đo hiệu suất của ESN:

• $W_{fb}$
• $\left|\left|M \bullet W_{out} – T\right|\right|^2$

Quang phổ bán kính và ESN

Spec-tral$1$