Chúng ta có thể học được gì về bộ não con người từ các mạng lưới thần kinh nhân tạo?

Tôi biết câu hỏi / tiêu đề của tôi không cụ thể lắm, vì vậy tôi sẽ cố gắng làm rõ nó:

Mạng lưới thần kinh nhân tạo có thiết kế tương đối nghiêm ngặt. Tất nhiên, nhìn chung, chúng bị ảnh hưởng bởi sinh học và cố gắng xây dựng một mô hình toán học của các mạng thần kinh thực sự, nhưng sự hiểu biết của chúng ta về các mạng thần kinh thực sự là không đủ để xây dựng các mô hình chính xác. Do đó, chúng tôi không thể hình dung được các mô hình chính xác hoặc bất cứ thứ gì có "gần" các mạng thần kinh thực sự.

Theo tôi biết, tất cả các mạng lưới thần kinh nhân tạo đều cách xa mạng lưới thần kinh thực sự. MLP tiêu chuẩn, cổ điển được kết nối đầy đủ không có trong sinh học. Các mạng nơ-ron tái phát thiếu tính dẻo dai thực sự, mỗi nơ-ron của RNN có cùng "kiến trúc phản hồi" trong khi các nơ-ron thực sự lưu và chia sẻ thông tin của chúng khá riêng lẻ. Mạng thần kinh chuyển đổi là hiệu quả và phổ biến, nhưng (ví dụ) xử lý hình ảnh trong não người chỉ bao gồm một vài lớp chập trong khi các giải pháp hiện đại (như GoogLeNet) đã sử dụng hàng chục lớp ... và mặc dù chúng đang tạo ra kết quả tuyệt vời cho máy tính , chúng thậm chí không gần với hiệu suất của con người. Đặc biệt là khi chúng ta nghĩ đến "hiệu suất trên mỗi lớp", vì chúng ta cần một lượng lớp và dữ liệu giảm khá cao so với các mạng thần kinh thực sự.

Ngoài ra, theo hiểu biết của tôi, ngay cả các mạng nơ ron nhân tạo mô đun, tự mở rộng / tự tái cấu trúc cũng khá "cố định và tĩnh" so với khả năng thích ứng rất lớn của các mạng thần kinh thực. Tế bào thần kinh sinh học thường có hàng ngàn sợi nhánh kết nối nơ-ron với rất nhiều khu vực khác nhau và các nơ-ron khác. Mạng lưới thần kinh nhân tạo là cách "đơn giản" hơn.

Vì vậy, có bất cứ điều gì chúng ta có thể tìm hiểu về bộ não con người / mạng lưới thần kinh thực sự từ mạng lưới thần kinh nhân tạo? Hay đó chỉ là một số nỗ lực để tạo ra phần mềm hoạt động tốt hơn các thuật toán tĩnh, cổ điển (hoặc thậm chí làm những việc mà các thuật toán đó thất bại)?

Ai đó có thể cung cấp (tốt nhất là khoa học) về chủ đề này?

EDIT: Nhiều câu trả lời được đánh giá cao (:

Như bạn đã đề cập, hầu hết các mạng lưới thần kinh đều dựa trên sự trừu tượng đơn giản chung của bộ não. Chúng không chỉ thiếu các đặc điểm bắt chước như dẻo, mà chúng còn không tính đến các tín hiệu và thời gian như các tế bào thần kinh thực sự.

Có một cuộc phỏng vấn gần đây, mà tôi cảm thấy phù hợp với câu hỏi cụ thể của bạn, Maestro học máy Michael Jordan về ảo tưởng về dữ liệu lớn và những nỗ lực kỹ thuật to lớn khác , và tôi xin trích dẫn:

Nhưng sự thật là với khoa học thần kinh, sẽ cần hàng thập kỷ hoặc thậm chí hàng trăm năm để hiểu được các nguyên tắc sâu sắc. Có sự tiến bộ ở mức độ thấp nhất của khoa học thần kinh. Nhưng đối với các vấn đề về nhận thức cao hơn, cách chúng ta nhận thức, cách chúng ta nhớ, cách chúng ta hành động thì chúng ta không biết làm thế nào các nơ-ron lưu trữ thông tin, cách chúng tính toán, quy tắc là gì, thuật toán là gì, biểu diễn là gì và như thế. Vì vậy, chúng ta chưa ở thời đại mà chúng ta có thể sử dụng sự hiểu biết về bộ não để hướng dẫn chúng ta xây dựng các hệ thống thông minh.

Không nhiều --- có thể nói là không có gì --- cho đến nay đã được học về chức năng não từ các mạng lưới thần kinh nhân tạo. [Làm rõ: Tôi đã viết câu trả lời này suy nghĩ về các mạng thần kinh được sử dụng trong học máy; @MattKrause (+1) đã đúng rằng các mô hình mạng thần kinh của một số hiện tượng thần kinh sinh học có thể hữu ích trong nhiều trường hợp.] Tuy nhiên, điều này có lẽ một phần là do thực tế nghiên cứu về mạng thần kinh nhân tạo trong học máy ít nhiều đình trệ cho đến khoảng năm 2006, khi Geoffrey Hinton gần như một mình nhen nhóm toàn bộ lĩnh vực mà bây giờ thu hút hàng tỷ đô la.

Trong một bài giảng năm 2012 tại Google có tên là Não bộ, Giới tính và Học máy (từ 45:30), Hinton đã đề xuất rằng mạng lưới thần kinh nhân tạo có thể cung cấp một gợi ý về lý do tại sao [hầu hết] tế bào thần kinh giao tiếp với gai và không có tín hiệu tương tự. Cụ thể, ông đề nghị xem gai là một chiến lược chính quy hóa tương tự như bỏ học. Bỏ học là một cách phát triển gần đây để ngăn chặn quá mức, khi chỉ một tập hợp các trọng số được cập nhật trên bất kỳ bước giảm độ dốc nhất định nào (xem Srivastava et al. 2014 ). Rõ ràng nó có thể hoạt động rất tốt, và Hinton nghĩ rằng có lẽ gai (tức là hầu hết các tế bào thần kinh im lặng tại bất kỳ thời điểm nào) đều phục vụ cho mục đích tương tự.

Tôi làm việc trong một viện nghiên cứu khoa học thần kinh và tôi không biết ai ở đây bị thuyết phục bởi lập luận của Hinton. Ban giám khảo vẫn ra (và có lẽ là được đi đến phải nghỉ thi đấu một thời gian khá), nhưng ít nhất đây là một ví dụ về một cái gì đó rằng các mạng thần kinh nhân tạo có thể có khả năng dạy chúng ta về chức năng não.

Điều chắc chắn là bộ não con người chỉ sử dụng "một vài" lớp chập. Khoảng 1/3 bộ não linh trưởng bằng cách nào đó có liên quan đến việc xử lý thông tin hình ảnh. Sơ đồ này, từ Felleman và Van Essen là một phác thảo sơ bộ về cách thông tin thị giác chảy qua não khỉ, bắt đầu từ mắt (RGC ở phía dưới) và kết thúc ở vùng hải mã, vùng nhớ.

Mỗi một trong các hộp này là một khu vực được xác định về mặt giải phẫu (nhiều hơn hoặc ít hơn), trong đó có một số giai đoạn xử lý (các lớp thực tế, trong hầu hết các trường hợp). Sơ đồ đã 25 năm tuổi và nếu có bất cứ điều gì, chúng tôi đã học được rằng có thêm một vài hộp và nhiều dòng hơn nữa.

Đúng là rất nhiều công việc học tập sâu được "lấy cảm hứng mơ hồ" từ bộ não hơn là dựa trên một số sự thật thần kinh cơ bản. "Học sâu" cũng có thêm lợi thế là nghe hấp dẫn hơn nhiều so với "hồi quy logistic lặp".

Tuy nhiên, các mô hình toán học của mạng lưới thần kinh cũng đã đóng góp rất nhiều cho sự hiểu biết của chúng ta về bộ não. Ở một thái cực, một số mô hình cố gắng bắt chước chính xác sinh học và sinh lý học đã biết. Chúng thường bao gồm các thuật ngữ cho các ion riêng lẻ và dòng chảy của chúng. Một số thậm chí sử dụng tái tạo 3D của các tế bào thần kinh thực sự để hạn chế hình dạng của chúng. Nếu điều này làm bạn quan tâm, ModelDB có một bộ sưu tập lớn các mô hình và các ấn phẩm liên quan. Nhiều người được triển khai bằng phần mềm NEURON có sẵn miễn phí .

Có những mô hình quy mô lớn hơn cố gắng bắt chước một số hiệu ứng hành vi hoặc sinh lý thần kinh, mà không phải lo lắng quá nhiều về sinh lý học cơ bản. Các mô hình kết nối hoặc xử lý phân phối song song, đặc biệt phổ biến vào cuối những năm 1980 và 1990 và sử dụng các mô hình tương tự như các mô hình bạn có thể tìm thấy trong một ứng dụng học máy hiện tại (ví dụ, không có sinh lý học, chức năng kích hoạt đơn giản và kết nối rập khuôn) để giải thích quá trình tâm lý. Những thứ này đã giảm một chút khỏi thịnh hành, mặc dù người ta tự hỏi liệu bây giờ họ có thể trở lại khi chúng ta có máy tính mạnh hơn và chiến lược đào tạo tốt hơn. (Xem chỉnh sửa bên dưới!)

Cuối cùng, có rất nhiều công việc ở đâu đó ở giữa bao gồm một số "hiện tượng học", cộng với một số chi tiết sinh học (ví dụ, một thuật ngữ ức chế rõ ràng với các tính chất nhất định, nhưng không phù hợp với phân phối chính xác của các kênh clorua). Rất nhiều công việc hiện tại phù hợp với thể loại này, ví dụ, công việc của Xiao Jing Wang (và nhiều người khác ....)

EDIT : Kể từ khi tôi viết bài này, đã có một sự bùng nổ trong công việc so sánh hệ thống thị giác (thực) với các mạng lưới thần kinh sâu được đào tạo về các nhiệm vụ nhận dạng đối tượng. Có một số điểm tương đồng đáng ngạc nhiên. Hạt nhân trong các lớp đầu tiên của mạng lưới thần kinh rất giống với hạt nhân / trường tiếp nhận trong vỏ thị giác chính và các lớp tiếp theo giống với các lĩnh vực tiếp nhận ở các khu vực thị giác cao hơn ( ví dụ , xem tác phẩm của Nikolaus Kriegeskorte ). Đào tạo lại mạng lưới thần kinh có thể gây ra những thay đổi tương tự đối với đào tạo hành vi sâu rộng (Wenliang và Seitz, 2018) . DNN và con người đôi khi - nhưng không phải lúc nào cũng vậy - cũng tạo ra các kiểu lỗi tương tự.

Hiện tại, vẫn chưa rõ liệu điều này phản ánh sự tương đồng giữa các mạng thần kinh thực và nhân tạo nói chung, một cái gì đó về hình ảnh cụ thể [*], hoặc xu hướng các mạng thần kinh của tất cả các sọc tìm thấy các mẫu, ngay cả khi chúng không ở đó. Tuy nhiên, so sánh cả hai đã trở thành một lĩnh vực nghiên cứu ngày càng nóng và dường như chúng ta sẽ học được điều gì đó từ nó.

* Ví dụ: biểu diễn được sử dụng trong hệ thống thị giác ban đầu / các lớp đầu tiên của CNN là cơ sở thưa thớt tối ưu cho hình ảnh tự nhiên.

Một trong những gì chúng tôi thực sự học được là việc sử dụng kích hoạt thưa thớt và sử dụng các chức năng kích hoạt tuyến tính chỉnh lưu tuyến tính. Về cơ bản, đây là một lý do, tại sao chúng ta thấy một vụ nổ trong hoạt động liên quan đến cái gọi là mạng thần kinh kể từ khi sử dụng loại chức năng kích hoạt này dẫn đến việc giảm đáng kể các mối quan hệ đào tạo cho các mạng tính toán nhân tạo mà chúng ta sử dụng để gọi các mạng thần kinh.

Những gì chúng ta học được là tại sao khớp thần kinh và tế bào thần kinh được xây dựng theo cách này và tại sao nó lại thích hợp hơn. Các kích hoạt được chỉnh sửa tuyến tính (f (x): = x> a? X: 0) dẫn đến kích hoạt thưa thớt (chỉ một số 'tế bào thần kinh' (trọng lượng)) được kích hoạt.

Vì vậy, những gì chúng ta làm trong khi kiến ​​thức của chúng ta mở rộng hướng tới các chức năng sinh học, chúng ta hiểu tại sao điều này được lựa chọn và ưa thích bởi sự tiến hóa. Chúng tôi hiểu rằng những hệ thống đó là đủ, nhưng cũng ổn định về mặt kiểm soát lỗi trong quá trình đào tạo và cũng bảo tồn các tài nguyên như năng lượng và tài nguyên hóa học / sinh học trong não.

Chúng tôi chỉ đơn giản hiểu tại sao bộ não là những gì nó là. Cũng bằng cách đào tạo và xem xét các chiến lược mà chúng tôi hiểu về các luồng thông tin có thể có và việc xử lý thông tin liên quan giúp chúng tôi xây dựng và đánh giá giả thuyết về chính các đối tượng.

Ví dụ, một điều tôi có thể nhớ từ một thập kỷ trước là đào tạo một hệ thống học ngôn ngữ nói tự nhiên và phát hiện ra là hệ thống cho thấy những vấn đề tương tự giống như hành vi tương tự của trẻ học nói ngôn ngữ. Ngay cả sự khác biệt giữa việc học các loại ngôn ngữ khác nhau cũng đủ tương tự.

Vì vậy, bằng cách nghiên cứu phương pháp và thiết kế này, người ta đã kết luận rằng việc xử lý thông tin của con người trong quá trình học ngôn ngữ là đủ để đưa ra các khuyến nghị đào tạo và điều trị cho các vấn đề liên quan đến ngôn ngữ, nó giúp hỗ trợ và hiểu những khó khăn của con người và phát triển điều trị hiệu quả hơn của nó thực sự làm cho nó trong thực tế là một câu hỏi khác).

Một tháng trước, tôi đã đọc một bài viết về cách điều hướng 3D và ghi nhớ bộ não chuột thực sự hoạt động và bằng cách tạo ra các mô hình tính toán về mọi phát hiện, nó giúp ích rất nhiều để hiểu những gì đang thực sự xảy ra. Vì vậy, mô hình nhân tạo điền vào chỗ trống của những gì được quan sát trong hệ thống sinh học.

Nó thực sự làm tôi ngạc nhiên khi tôi biết rằng các nhà khoa học thần kinh đã sử dụng một ngôn ngữ lắp ráp nhiều hơn một kỹ sư hơn là một người sinh học nói về các mạch, dòng thông tin và các đơn vị xử lý logic.

Vì vậy, chúng ta đang học hỏi rất nhiều từ các mạng lưới thần kinh nhân tạo vì nó cho chúng ta cơ sở chơi theo kinh nghiệm, chúng ta có thể rút ra các quy tắc và sự đảm bảo từ khi nói đến lý do tại sao kiến ​​trúc của bộ não là gì và cũng là lý do tại sao tiến hóa thích điều này hơn các cách khác.

Vẫn còn nhiều khoảng trống nhưng từ những gì tôi đọc - tôi mới tham gia vào CNN, v.v. nhưng có AI nhân tạo, logic mờ và mạng lưới thần kinh trong thời gian học đại học vào đầu những năm 2000.

Vì vậy, tôi đã bắt kịp một thập kỷ phát triển và khám phá dẫn đến lòng biết ơn đối với tất cả những nhà khoa học và những người thực hành mạng lưới thần kinh và lĩnh vực AI. Làm tốt mọi người, thực sự làm tốt!