Sự khác biệt chính giữa Mạng lưới thần kinh Spiking và Deep Learning là gì

Deep Learning, hiện là một trong những lĩnh vực phổ biến nhất trong Mạng nơ ron nhân tạo, đã cho thấy nhiều hứa hẹn về tính chính xác của nó trên các tập dữ liệu. Làm thế nào để nó so sánh với mạng lưới thần kinh Spiking. Gần đây Qualcomm tiết lộ bộ xử lý zeroth của mình trên SNN, vì vậy tôi đã suy nghĩ liệu có sự khác biệt nào không nếu sử dụng phương pháp học sâu được sử dụng thay thế.

Câu trả lời ngắn:

Nói một cách chính xác, "Sâu" và "Đi xe đạp" đề cập đến hai khía cạnh khác nhau của mạng lưới thần kinh: "Đi xe đạp" đề cập đến việc kích hoạt các nơ-ron riêng lẻ, trong khi "Sâu" đề cập đến kiến ​​trúc mạng tổng thể. Do đó, về nguyên tắc, không có gì mâu thuẫn về một mạng lưới thần kinh sâu rộng (trên thực tế, bộ não được cho là một hệ thống như vậy).

Tuy nhiên, trong thực tế, các cách tiếp cận hiện tại đối với DL và SNN không hoạt động tốt với nhau. Cụ thể, Deep Learning như hiện đang được thực hiện thường dựa vào chức năng kích hoạt khác biệt và do đó không xử lý tốt các chuyến tàu tăng đột biến.

Biết thêm chi tiết:

Tế bào thần kinh thực sự giao tiếp thông qua các gai điện áp rời rạc. Khi xây dựng phần cứng, đi xe đạp có một số lợi thế trong việc tiêu thụ năng lượng và bạn có thể định tuyến các xung đột như các gói dữ liệu (Đại diện sự kiện địa chỉ hoặc AER) để mô phỏng kết nối được tìm thấy trong não. Tuy nhiên, đi xe đạp là một quá trình ồn ào; nói chung một mũi nhọn không có nghĩa gì nhiều, vì vậy, phần mềm thường dùng để trừu tượng hóa các chi tiết đi xe đạp và mô hình hóa một tốc độ tăng đột biến duy nhất. Điều này đơn giản hóa rất nhiều thứ, đặc biệt nếu mục tiêu của bạn là học máy chứ không phải mô hình sinh học.

Ý tưởng chính của Deep Learning là có nhiều lớp tế bào thần kinh, với mỗi lớp học các tính năng ngày càng phức tạp dựa trên lớp trước đó. Ví dụ, trong cài đặt tầm nhìn, mức thấp nhất học các mẫu đơn giản như đường và cạnh, lớp tiếp theo có thể học các thành phần của đường và cạnh (góc và đường cong), lớp tiếp theo có thể học các hình đơn giản, và cứ thế lên cấu trúc phân cấp . Cấp trên sau đó học các danh mục phức tạp (người, mèo, xe hơi) hoặc thậm chí các trường hợp cụ thể (sếp của bạn, mèo của bạn, batmobile). Một lợi thế của điều này là các tính năng cấp thấp nhất đủ chung để áp dụng cho nhiều tình huống trong khi các cấp trên có thể trở nên rất cụ thể.

Cách thức chính tắc để huấn luyện các mạng lưới đi xe đạp là một số dạng Độ dẻo phụ thuộc thời gian Spike (STDP) , giúp củng cố các kết nối cục bộ dựa trên hoạt động tương quan. Cách thức chính tắc để huấn luyện Mạng lưới thần kinh sâu là một số hình thức truyền ngược dòng gốc , điều chỉnh tất cả các trọng số dựa trên hành vi toàn cầu của mạng. Gradient giảm dần có vấn đề với các chức năng kích hoạt không khác biệt (như gai ngẫu nhiên rời rạc).

Nếu bạn không quan tâm đến việc học, việc kết hợp các phương pháp sẽ dễ dàng hơn. Người ta có lẽ có thể lấy một mạng lưới sâu được đào tạo trước và chỉ thực hiện phần chuyển tiếp thức ăn (không học thêm) như một mạng lưới thần kinh gia tăng (có lẽ để đặt nó trên một con chip). Chip kết quả sẽ không học được từ dữ liệu mới mà nên thực hiện bất kỳ chức năng nào mà mạng ban đầu đã được đào tạo để làm.

Ứng dụng lớn nhất của SNN mà tôi biết là Spaun , có mạng lưới thần kinh được xây dựng bằng Khung kỹ thuật thần kinh và giả lập thần kinh Nengo .

Sự khác biệt giữa SNN và Deep Learning, đặc biệt là ở Spaun, là một khu vực màu xám. Spaun sử dụng các kỹ thuật Deep Learning được sửa đổi trong hệ thống tầm nhìn của nó để nhận dạng chữ số. Về cơ bản, nó sử dụng một phiên bản đi xe đạp của Mạng lưới thần kinh hiến pháp.

Gần đây, cùng một kỹ thuật chuyển đổi phương pháp tiếp cận Deep Learning sang sử dụng nơ-ron thần kinh để sử dụng trong phần cứng biến đổi thần kinh (như Spinnaker và Brainstorm để có độ trễ thấp hơn và hiệu quả năng lượng cao hơn ) đã được áp dụng cho Mạng thần kinh Convolutional .

Sự khác biệt đi sâu hơn nhiều so với những gì tôi đã đề cập ở đây (như cách SNN có thể xấp xỉ các hệ thống động và các hàm phi tuyến tính khác mà không cần đào tạo), nhưng thật không may, không có cách nào dễ dàng để tóm tắt chúng. Nếu bạn muốn biết thêm chi tiết, hãy xem "Cách xây dựng bộ não" của Chris Eliasmith để có cái nhìn tổng quan hơn về cách SNN đang được sử dụng để tạo Trí tuệ nhân tạo.