Về mặt kỹ thuật, chúng ta có thể tạo ra các mạng thần kinh lớn tùy ý với công nghệ hiện tại không?

Nếu các nơ-ron và khớp thần kinh có thể được thực hiện bằng cách sử dụng các bóng bán dẫn, điều gì ngăn chúng ta tạo ra các mạng thần kinh lớn tùy ý bằng cách sử dụng cùng các phương pháp mà GPU được tạo ra?

Về bản chất, chúng ta đã thấy các mạng thần kinh ảo cực kỳ tốt được triển khai trên các bộ xử lý tuần tự hoạt động như thế nào (ngay cả GPU là các máy tuần tự, nhưng với số lượng lõi rất lớn).

Mọi người có thể tưởng tượng rằng sử dụng các nguyên tắc thiết kế GPU - về cơ bản là có hàng ngàn đơn vị xử lý có thể lập trình hoạt động song song - chúng ta có thể tạo ra các "đơn vị xử lý nơ-ron" đơn giản hơn nhiều và đặt hàng triệu hoặc hàng tỷ NPU đó vào một con chip lớn. Họ sẽ có bộ nhớ riêng (để lưu trữ trọng lượng) và được kết nối với vài trăm tế bào thần kinh khác bằng cách chia sẻ một chiếc xe buýt. Chúng có thể có tần số ví dụ 20 Hz, cho phép chúng chia sẻ một bus dữ liệu với nhiều nơ-ron khác.

Rõ ràng, có một số thách thức kỹ thuật điện ở đây, nhưng dường như tất cả các công ty công nghệ lớn nên khám phá tuyến đường này ngay bây giờ.

Nhiều nhà nghiên cứu AI nói rằng siêu trí tuệ sẽ xuất hiện vào khoảng năm 2045. Tôi tin rằng lý luận của họ dựa trên định luật Moore và số lượng tế bào thần kinh chúng ta có thể thực hiện trong phần mềm chạy trên các máy tính nhanh nhất chúng ta có.

Nhưng sự thật là, ngày nay chúng ta đang sản xuất chip silicon với hàng tỷ bóng bán dẫn trên chúng. SPARK M7 có 10 tỷ bóng bán dẫn.

Nếu thực hiện một nơ-ron (không lập trình được) và vài trăm khớp thần kinh cho nó đòi hỏi 100 000 bóng bán dẫn, thì chúng ta có thể tạo ra một mạng lưới thần kinh trong phần cứng mô phỏng 100 000 nơ-ron.

Nếu chúng ta thiết kế một con chip như vậy để chúng ta có thể đơn giản làm cho nó lớn hơn về mặt vật lý nếu chúng ta muốn có nhiều nơ-ron hơn, thì đối với tôi, mạng lưới thần kinh lớn tùy ý chỉ là một câu hỏi ngân sách.

Về mặt kỹ thuật, chúng ta có thể tạo ra các mạng thần kinh lớn tùy ý với công nghệ hiện tại không?

Hãy nhớ rằng: Tôi KHÔNG hỏi liệu một mạng như vậy trên thực tế sẽ rất thông minh. Tôi chỉ đang hỏi liệu chúng ta có thực sự tạo ra các mạng thần kinh liên kết lớn, có tính kết nối cao hay không, nếu chúng ta quyết định trả tiền cho Intel để làm điều này?

Hàm ý là vào ngày mà một số nhà khoa học có thể tạo ra trí thông minh chung trong phần mềm, chúng ta có thể sử dụng khả năng phần cứng của mình để phát triển trí thông minh chung này đến cấp độ con người và hơn thế nữa.

Cách tiếp cận bạn mô tả được gọi là máy tính neuromorphic và nó khá một bận rộn lĩnh vực .

IBM TrueNorth thậm chí còn có các nơ-ron thần kinh.

Vấn đề chính với các dự án này là không ai biết phải làm gì với chúng.

Các dự án này không cố gắng tạo ra các chip được tối ưu hóa để chạy mạng thần kinh. Điều đó chắc chắn sẽ có thể, nhưng phần đắt đỏ là đào tạo không phải là chạy mạng lưới thần kinh. Và để đào tạo bạn cần nhân số ma trận lớn, một cái gì đó GPU đã rất tốt rồi. ( TPU của Google sẽ là một con chip được tối ưu hóa để chạy NN.)

Để thực hiện nghiên cứu về các thuật toán có thể được thực hiện trong não (chúng tôi hầu như không biết gì về điều đó), bạn cần có sự linh hoạt, điều mà những con chip này không có. Ngoài ra, thách thức kỹ thuật có thể nằm ở việc cung cấp rất nhiều khớp thần kinh, chỉ cần so sánh số lượng khớp thần kinh trung bình trên mỗi nơron của TrueNorth, 256 và não, 10.000.

Vì vậy, bạn có thể tạo một con chip được thiết kế sau một số kiến ​​trúc thần kinh và nó sẽ nhanh hơn, hiệu quả hơn, vv, nhưng để làm được điều đó bạn sẽ cần biết kiến ​​trúc nào hoạt động trước. Chúng tôi biết rằng việc học sâu hoạt động, vì vậy google sử dụng phần cứng được tạo riêng để chạy các ứng dụng của họ và tôi chắc chắn có thể tưởng tượng phần cứng học sâu tùy chỉnh sẽ đến với điện thoại thông minh gần bạn trong tương lai. Để tạo ra một con chip thần kinh cho AI mạnh, trước tiên bạn cần phát triển AI mạnh.

Nếu tế bào thần kinh và khớp thần kinh có thể được thực hiện bằng cách sử dụng bóng bán dẫn,

Tôi hy vọng bạn không nói về các mạng thần kinh hiện đang chiến thắng tất cả các cuộc thi về học máy (MLP, CNNs, RNNs, Deep Residual Networks, ...). Chúng từng được sử dụng như một mô hình cho tế bào thần kinh, nhưng chúng chỉ rất liên quan lỏng lẻo với những gì xảy ra trong các tế bào não thực sự.

Mạng lưới đi xe đạp nên gần gũi hơn với các tế bào thần kinh thực sự. Tôi đã nghe nói rằng mô hình Hodgkin-Huxley khá thực tế. Tuy nhiên - trái ngược với các mô hình tôi đã nêu ở trên - dường như không có một thuật toán đào tạo hiệu quả nào cho các mạng lưới đi xe đạp.

Điều gì ngăn cản chúng ta tạo ra các mạng thần kinh lớn tùy ý

• Tài nguyên tính toán : Đào tạo mạng lưới thần kinh tốn rất nhiều thời gian. Chúng tôi đang nói về ~ 12 ngày với cụm GPU cho một số mô hình CNN trong tầm nhìn máy tính.
• Dữ liệu đào tạo : Bạn càng thêm nhiều biến vào mô hình, bạn càng cần nhiều dữ liệu để ước tính chúng. Mạng lưới thần kinh không phải là phép thuật. Họ cần một cái gì đó họ có thể làm việc với.

Nhưng sự thật là, ngày nay chúng ta đang sản xuất chip silicon với hàng tỷ bóng bán dẫn trên chúng. SPARK M7 có 10 tỷ bóng bán dẫn.

Nếu thực hiện một nơ-ron (không lập trình được) và vài trăm khớp thần kinh cho nó đòi hỏi 100 000 bóng bán dẫn, thì chúng ta có thể tạo ra một mạng lưới thần kinh trong phần cứng mô phỏng 100 000 nơ-ron.

Nó không đơn giản như vậy:

• Asynchonosity : Mạng lưới thần kinh sinh học hoạt động không đồng bộ. Điều này có nghĩa là một tế bào thần kinh có thể hoạt động trong khi tất cả các tế bào khác không hoạt động.
• Thi đua : Bạn cho rằng sẽ chỉ cần một chu kỳ để mô phỏng tế bào thần kinh sinh học. Tuy nhiên, nó cần nhiều ngàn chu kỳ. Bạn không thể đơn giản sử dụng các đơn vị tính toán nhiều hơn, bởi vì một số thứ không thể song song. Ví dụ, nghĩ về chức năng f(x) = sin(x*x + 1). Đối với một con người, về cơ bản là ba tính toán: r1 = x*x, r2 = r1 + 1, r3 = sin(r2). Ngay cả khi bạn có 3 người làm việc để tính toán kết quả, bạn sẽ không nhanh hơn người nhanh nhất trong nhóm này. Tại sao? Bởi vì bạn cần kết quả tính toán cuối cùng.

Trong khi một bóng bán dẫn duy nhất có thể xấp xỉ chức năng cơ bản của một nơron, tôi không thể đồng ý rằng bất kỳ yếu tố điện tử nào cũng có thể mô phỏng các khớp thần kinh / sợi trục. Các bóng bán dẫn được khắc trên một bề mặt phẳng và chỉ có thể được kết nối với nhau hoặc liền kề bởi các bóng bán dẫn. Các sợi trục trong não trải dài khoảng cách rất lớn (so với kích thước của chính tế bào thần kinh) và không bị giới hạn ở bề mặt hai chiều. Ngay cả khi chúng ta có thể tiếp cận số lượng bóng bán dẫn trên bộ xử lý với số lượng tế bào thần kinh trong não, chúng ta cũng không ở gần số lượng kết nối. Cũng có thể lập luận rằng các tín hiệu tương tự trong não mang nhiều thông tin hơn trên mỗi đơn vị thời gian, so với các xung nhị phân trên chip. Hơn nữa, não thực sự có tính dẻo, tức là các kết nối giữa các nơ-ron có thể bị suy yếu / bị loại bỏ hoặc làm thẳng / tạo ra,

Bạn có thể muốn xem xét danh sách này :

10 điểm khác biệt quan trọng giữa bộ não và máy tính:

1. Não là tương tự, máy tính là kỹ thuật số
2. Bộ não sử dụng bộ nhớ địa chỉ nội dung
3. Bộ não là một cỗ máy song song ồ ạt; máy tính là mô-đun và nối tiếp
4. Tốc độ xử lý không cố định trong não; không có đồng hồ hệ thống
5. Bộ nhớ ngắn hạn không giống như RAM
6. Không có sự phân biệt phần cứng / phần mềm nào có thể được thực hiện liên quan đến não hoặc tâm trí
7. Các khớp thần kinh phức tạp hơn nhiều so với cổng logic điện
8. Không giống như máy tính, xử lý và bộ nhớ được thực hiện bởi cùng các thành phần trong não
9. Bộ não là một hệ thống tự tổ chức
10. Não có cơ thể