Hiệu quả năng lượng của bộ não con người so với mạng lưới thần kinh

Làm thế nào chúng ta có thể chạy các mạng thần kinh nhân tạo lớn như thế nào bây giờ (với chu kỳ back-backprop đầy đủ hoặc chỉ đánh giá đầu ra mạng) nếu tổng ngân sách năng lượng cho tính toán của chúng ta tương đương với ngân sách năng lượng của não người ( 12,6 watt )?

Giả sử một chu kỳ mỗi giây, dường như gần bằng tốc độ bắn của các tế bào thần kinh sinh học .

neural-networks human-like

— liori
nguồn

Tôi sẽ hỏi câu hỏi này. Tôi rất vui vì người khác đã làm :)

— Eka

126 triệu tế bào thần kinh nhân tạo ở 12,6 Watts, với True North của IBM

Quay trở lại năm 2014, chip True North của IBM đã đẩy 1 triệu tế bào thần kinh ở mức dưới 100mW.

Vì vậy, đó là khoảng 126 triệu tế bào thần kinh nhân tạo ở 12,6 Watts.

Một con chuột có 70 triệu tế bào thần kinh.

IBM tin rằng họ có thể xây dựng một máy tính lớn True North ở quy mô não người với công suất 4kW "đơn thuần".

Khi các bóng bán dẫn 3D xuất hiện trên thị trường, tôi nghĩ chúng ta sẽ bắt kịp hiệu quả của bộ não động vật khá nhanh.

— Doxosophoi
nguồn

> Vậy đó là khoảng 126 triệu tế bào thần kinh nhân tạo ở mức 12,6 Watts. > Một con chuột có 70 triệu tế bào thần kinh. Vấn đề là, chúng ta không biết liệu một "nơ-ron" nhân tạo có thực sự tương đương với một nơ-ron sinh học thực sự hay không.

— trí

Ngoài tâm trí, hãy nhớ rằng trong khoảng 60 năm, các nhà khoa học thần kinh / AI đã liên tục đánh giá thấp sức mạnh xử lý của bộ não con người. Tôi đã thấy những ước tính ban đầu của những tên tuổi lớn rằng tâm trí của chúng ta chỉ có thể lưu trữ một vài 100 MB! Chúng ta vẫn chưa tính đến những thứ như độ sâu bit, kiến trúc phù hợp, trạng thái lượng tử có thể có trong các tế bào não, v.v. IBM có thể xây dựng một mạng lưới thần kinh 70 triệu nơ-ron hiệu quả về năng lượng, thậm chí không thể ước chừng hành vi của ký sinh trùng chuột . Các nhà nghiên cứu AI trong lịch sử luôn đánh giá quá cao khả năng của chính họ.

— SQLServerSteve

Thật vậy, quên về chip IBM. Tôi thậm chí không xem xét chúng khi viết câu hỏi, vì có những lời chỉ trích về hiệu quả của chúng (xem ví dụ facebook.com/yann.lecun/posts/10152184295832143 ). Mặc dù về mặt kỹ thuật họ vẫn triển khai các mạng thần kinh, nên +1 từ tôi.

— liori

@mindcrime & SQLServerSteve Vâng, câu hỏi có thể cụ thể là về vanilla chuyển tiếp ANNs chạy trên phần cứng chứng khoán. Đó không phải là ấn tượng tôi nhận được từ câu hỏi mặc dù.

— Doxosophoi

Nó cũng không phải là về các mạng lưới thần kinh nhân tạo chưa được tưởng tượng.

— Doxosophoi

Nếu bạn giới hạn ở mức 12,6 watt, bạn sẽ không làm được gì nhiều. Chỉ cần tra cứu mức tiêu thụ năng lượng cho GPU hiện đại, nhìn vào kích thước mạng mà mọi người đang đào tạo trên đó, và sau đó thu nhỏ lại. Để tham khảo, GPU hiện đại dường như tiêu thụ từ 52-309 watt khi sử dụng nhiều .

Rõ ràng hiệu quả năng lượng là một lĩnh vực mà bộ não con người vẫn đứng đầu ANN.

— tâm trí
nguồn