Tại sao mạng lưới thần kinh sâu và học sâu không đủ để đạt được trí thông minh chung?

Mọi thứ liên quan đến Deep Learning (DL) và mạng sâu (er) dường như "thành công", ít nhất là tiến triển rất nhanh và nuôi dưỡng niềm tin rằng AGI đang ở trong tầm tay. Đây là trí tưởng tượng phổ biến. DL là một công cụ to lớn để giải quyết rất nhiều vấn đề, bao gồm cả việc tạo ra các AGI. Nó không đủ, mặc dù. Một công cụ là một thành phần cần thiết, nhưng thường không đủ.

Những nhân vật hàng đầu trong lĩnh vực này đang tìm kiếm những tiến bộ khác. Đây báo cáo / tuyên bố tập hợp liên kết đến các báo cáo bởi Yoshua Bengio , Yann LeCun và Geoff Hinton . Báo cáo cũng giải thích:

Những điểm yếu chính của DL (như tôi thấy chúng) là: sự phụ thuộc vào các nơ-ron mô hình đơn giản nhất có thể có được (Phim hoạt hình Hồi giáo như LeCun gọi chúng); sử dụng các ý tưởng từ Cơ học và Thống kê thế kỷ 19, là cơ sở của các hàm năng lượng và phương pháp khả năng đăng nhập; . dán nhãn dữ liệu đào tạo và sức mạnh tính toán. Mặc dù tuyệt vời cho các công ty lớn có thể thu hút hoặc mua tài năng và triển khai các nguồn tài nguyên không giới hạn để thu thập dữ liệu và xử lý dữ liệu, DL chỉ đơn giản là không thể truy cập cũng không hữu ích cho phần lớn chúng ta.

Mặc dù thú vị và có liên quan, nhưng cách giải thích như vậy không thực sự giải quyết được ý chính của vấn đề: Điều gì đang thiếu?

Câu hỏi có vẻ rộng, nhưng có thể là do thiếu một câu trả lời đơn giản. Có cách nào để xác định chính xác những gì DL đang thiếu cho một AGI không?

Mọi người đối phó với các mạng lưới thần kinh đều bỏ lỡ một điểm quan trọng khi so sánh các hệ thống với trí thông minh giống con người. Một con người phải mất nhiều tháng để làm bất cứ điều gì dễ hiểu, chứ đừng nói đến việc có thể giải quyết các vấn đề mà con người trưởng thành hầu như không thể quản lý. Điều đó và kích thước của bộ não con người là rất lớn so với các mạng lưới thần kinh của chúng ta. Hướng có thể đúng, nhưng quy mô là cách. Số lượng tế bào thần kinh trong não người có thể phù hợp với trí nhớ, nhưng lượng song song để mô phỏng nó theo thời gian thực vẫn chưa thể đạt được (ít nhất là đối với một nhà nghiên cứu ngẫu nhiên). Mặc dù hơi cũ nhưng điều này có thể cho bạn ý tưởng về việc chúng ta thiếu sức mạnh xử lý đến mức nào.

Deep Learning chủ yếu là thành công trong học tập có giám sát, trong khi não xây dựng các danh mục chủ yếu theo cách không giám sát. Chúng tôi chưa biết làm thế nào để làm điều đó. (Hãy xem bộ não của google : 16.000 lõi và tất cả những gì có thể làm là nhận ra mèo và khuôn mặt người với độ chính xác khá cao.)

Deep Learning sử dụng các kích hoạt không có cấu trúc cao, tức là các biểu diễn mức độ cao của "con chó" và "con mèo" trong một bộ phân loại mạng thần kinh hoàn toàn không giống nhau. Mặt khác, bộ não sử dụng các tế bào thần kinh ức chế để tạo ra các biểu hiện phân tán thưa thớt có thể phân hủy thành các khía cạnh ngữ nghĩa của chúng. Điều đó có lẽ quan trọng đối với sự trừu tượng và lý luận bằng cách tương tự.

Bộ não có nhiều phần khác nhau làm việc cùng nhau. Các nhà nghiên cứu Deep Learning chỉ mới bắt đầu tích hợp bộ nhớ hoặc cơ chế chú ý vào kiến ​​trúc của họ.

Bộ não tích hợp thông tin từ nhiều giác quan khác nhau. Hầu hết các ứng dụng Deep Learning chỉ sử dụng một loại đầu vào, như văn bản hoặc hình ảnh.

Bộ não có khả năng mô hình hóa các chuỗi như các thể loại. (Về cơ bản mỗi động từ đều đặt tên cho một thể loại tuần tự (tức là tạm thời). Sau đó, nó có thể sắp xếp các danh mục này thành các kế hoạch phân cấp dài hạn. Cho đến nay tôi chưa thấy gì theo hướng đó trong Deep Learning.

Ngoài ra, mạng lưới thần kinh chưa thể hoạt động trên cùng một quy mô như bộ não con người. Nếu bạn nhìn vào câu trả lời cho câu hỏi này , bộ não con người sẽ đi trước về số lượng tế bào thần kinh trong vài thập kỷ nữa. Một mạng lưới thần kinh có thể không cần cùng số lượng tế bào thần kinh như não để đạt được hiệu suất tương tự (vì độ chính xác cao hơn), nhưng hiện tại, ví dụ xử lý video vẫn còn khá hạn chế về đầu vào và thông lượng.

IMHO rào cản đầu tiên là quy mô : ngay cả DNN lớn nhất của Google cũng không tiến gần đến quy mô của bộ não và theo hệ số của một số đơn đặt hàng lớn ...

Tôi nghĩ nó còn thiếu những khía cạnh tạo nên bộ não con người; có rất nhiều mạng khác nhau làm việc với nhau.

Giống như thiền giúp cải thiện khả năng nhận thức bằng cách bộ não hoạt động hiệp đồng hơn, chúng ta cũng có thể áp dụng điều đó cho máy móc.

Ví dụ: google đang học một máy tính để mơ ước, giống như chúng ta làm, để củng cố những gì chúng ta đã học. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

Và đây là pathnet, một mạng lưới thần kinh. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-apers-pathnet-f72b1ed38d46#.ed0f6pdq7

Tạo ra tất cả các cơ chế này và đặt tất cả chúng lại với nhau, với đủ sức mạnh và chúng ta sẽ trở nên khá gần gũi!

Những người đề xuất trí tuệ nhân tạo ngày nay tập trung vào vấn đề tính toán - khả năng giải quyết các vấn đề phức tạp nhanh chóng. Tôi tin rằng bất kỳ số lượng thành công theo hướng này sẽ không dẫn đến trí thông minh (nói chung) của con người mặc dù nó chắc chắn sẽ vượt trội hơn con người trong một số lĩnh vực nhất định. Thay vào đó, những nỗ lực nên hướng tới một nghiên cứu về những sự kiện thần kinh gây ra cảm giác (kinh nghiệm của Qualia). Tất nhiên, đây là vấn đề khó khăn của triết học nhưng tôi tin rằng nó là chìa khóa duy nhất cho trí thông minh chung và khả năng của nó. Kỹ thuật đảo ngược và các lý thuyết có thể kiểm chứng nên được nâng cao về cuối này.