Điều gì đang đứng trong cách các mạng thần kinh xung được sử dụng trong các ứng dụng?

Mạng lưới thần kinh xung hoặc Spiking kết hợp nhiều hơn các động lực màng của các tế bào thần kinh sinh học, trong đó các xung mang thông tin đến lớp tiếp theo. Các tế bào thần kinh không nhất thiết phải "bắn" tất cả cùng một lúc, chẳng hạn như trong một backprop chẳng hạn.

Tuy nhiên, dường như có những rào cản chống lại việc sử dụng các mô hình này cho các vấn đề máy học. Những vấn đề cụ thể nào cản trở các học viên học máy sử dụng các mô hình thực tế hơn về mặt sinh học?

Vấn đề chính là không ai biết bộ não hoạt động như thế nào :)

Học thuyết

Theo như tôi có thể nói, có ba bước lớn trong nghiên cứu mạng lưới thần kinh:

1. Mô hình Perceptron (hoặc, ngưỡng cửa), trong đó bất kỳ hàm boolean nào cũng có thể được tính toán bởi một số perceptron nhiều lớp với một lớp ẩn duy nhất.
2. Mô hình nơ-ron - phiên bản cải tiến của phiên bản trước, trong đó các thành phần mạng sử dụng chức năng kích hoạt sigmoid (bộ liên tục các đầu vào và đầu ra có thể). Họ cũng có thể tính toán bất kỳ hàm boolean nào (sau khi áp dụng ngưỡng) và, ngoài ra, có thể xấp xỉ bất kỳ hàm liên tục nào.
3. Mô hình nơ-ron thần kinh, sử dụng "mã hóa tạm thời" để truyền thông tin giữa các thành phần mạng. Nó có thể làm mọi thứ mà mô hình trước đó làm và thường có thể làm như vậy với ít nơ-ron hơn.

Về cơ bản, sự tiến hóa ở đây là để tiến gần hơn đến cách thức hoạt động của bộ não con người và mô hình cuối cùng có độ trung thực tốt nhất.

Thực hành

SNN có vẻ rất hứa hẹn và thậm chí còn có một sản phẩm thương mại SpikeNET được xây dựng trên nó (trong "SpikeNET có thể làm gì" và "SpikeNET không thể làm gì" bạn có thể thấy những vấn đề họ gặp phải).

Tôi không thể nói về các vấn đề cụ thể với mạng lưới đi xe đạp - nhưng nói chung tôi có ấn tượng rằng các vấn đề phát sinh vì mọi người muốn SNN hoạt động ngày càng giống bộ não của con người:

• họ muốn chọn cách mã hóa thông tin - có thể được thực hiện thông qua mã hóa trễ (các nơ ron kích thích cao hơn có xu hướng tăng đột biến thường xuyên hơn và sớm hơn ), mã hóa nhị phân (thông tin được biểu thị bằng số lượng đột biến trong một khoảng thời gian nhất định), mã hóa thời gian (thông tin là nghịch đảo của độ chi tiết của khoảng thời gian có thể phân biệt), mã hóa thứ tự xếp hạng (các gai đầu tiên nhận được bởi một nơron được cho ảnh hưởng và các chuỗi sau bị ức chế) và không có gì.
• chúng mô phỏng tính dẻo của Hebbian làm tăng trọng lượng giữa các nơ-ron khi cả hai nơ-ron "bật" (hoặc cả hai "tắt") cùng một lúc.
• họ áp dụng tự tổ chức trong đó một nhóm các tế bào thần kinh cạnh tranh với tế bào thần kinh chiến thắng ức chế phản ứng của các tế bào thần kinh khác. Với một nơron thần kinh, người chiến thắng có thể được tính toán nhanh chóng chỉ dựa trên các sự kiện bắn duy nhất.

Wikipedia có một liên kết đến cuốn sách "Mạng nơ-ron xung" có phần "Các vấn đề triển khai của mạng nơ-ron mã hóa xung" nhưng tôi không đủ kiến ​​thức để nhận xét về điều đó.

Để giới thiệu về chủ đề này, tôi khuyên bạn nên viết bài này: Mạng nơ-ron xung và ứng dụng của chúng ( pdf )

có vẻ như tất cả các thuật toán mạng thần kinh đều sử dụng một số dạng giảm độ dốc trong các thuật toán đào tạo của chúng và thậm chí các mô hình không phải ANN cũng sử dụng độ dốc. dường như không có lý thuyết nào về cách áp dụng giảm độ dốc theo kiểu tạm thời so với SNN. một khả năng là sự gia tăng của điện toán biến đổi thần kinh sử dụng các mô hình thực tế hơn về mặt sinh học tương tự như SNNs. nhưng có vẻ như không có điểm chuẩn / đột phá học máy mạnh mẽ nào đạt được trong lĩnh vực biến đổi thần kinh cho đến nay với điểm chuẩn rất rõ ràng đạt được với ANN trong nhiều vấn đề ML tiêu chuẩn như nhận dạng chữ viết tay, nhận dạng giọng nói, nhận dạng đối tượng, dịch ngôn ngữ, v.v.