Các mạng nơ-ron mô-đun có hiệu quả hơn các mạng lớn, nguyên khối ở bất kỳ nhiệm vụ nào không?


16

Mô-đun / Nhiều mạng nơ-ron (MNN) xoay quanh việc đào tạo các mạng nhỏ hơn, độc lập có thể cung cấp cho nhau hoặc mạng khác cao hơn.

Về nguyên tắc, tổ chức phân cấp có thể cho phép chúng ta hiểu được các không gian vấn đề phức tạp hơn và đạt được chức năng cao hơn, nhưng có vẻ khó tìm thấy các ví dụ về nghiên cứu cụ thể được thực hiện trong quá khứ về vấn đề này. Tôi đã tìm thấy một vài nguồn:

https://en.wikipedia.org/wiki/Modular_neural_network

https://www.teco.edu/~albrecht/neuro/html/node32.html

https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf? resultence = 1 & is ALLowed = y

Một vài câu hỏi cụ thể tôi có:

  • Có bất kỳ nghiên cứu gần đây về việc sử dụng MNN?

  • Có bất kỳ nhiệm vụ nào mà MNN đã cho thấy hiệu suất tốt hơn so với các lưới đơn lớn không?

  • Các MNN có thể được sử dụng để phân loại đa phương thức, tức là huấn luyện mỗi mạng về một loại dữ liệu khác nhau, (văn bản so với hình ảnh) và chuyển tiếp đến một trung gian cấp cao hơn hoạt động trên tất cả các đầu ra?

  • Từ góc độ công nghệ phần mềm, không phải những lỗi này dễ bị lỗi hơn và dễ bị cô lập hơn trên một hệ thống phân tán?

  • Đã có bất kỳ công việc nào để tự động điều chỉnh cấu trúc liên kết của các mạng con bằng cách sử dụng một quy trình như Tìm kiếm kiến ​​trúc thần kinh?

  • Nói chung, MNNs thực tế theo cách nào?

Xin lỗi nếu những câu hỏi này có vẻ ngây thơ, tôi vừa tham gia ML và rộng hơn là CS từ nền tảng sinh học / khoa học thần kinh và bị quyến rũ bởi khả năng tương tác.

Tôi thực sự đánh giá cao bạn dành thời gian và cho vay cái nhìn sâu sắc của bạn!


Tôi đã nghĩ về việc triển khai một hệ thống mô-đun như vậy để cải thiện hiệu suất và lọc ra - chắc chắn - sự phụ thuộc không cần thiết vào đầu vào. Nghĩ rằng đó là một khoảnh khắc eureka, nhưng không biết nó đã là một cấu trúc đã được thiết lập.
Tobi

Câu trả lời:


2

Thực sự có một cuộc điều tra đang được tiến hành, liên quan đến chủ đề này. Một ấn phẩm đầu tiên từ tháng ba vừa qua lưu ý rằng mô-đun đã được thực hiện, mặc dù không rõ ràng, từ một thời gian trước đây, nhưng bằng cách nào đó đào tạo vẫn còn nguyên khối. Bài viết này đánh giá một số câu hỏi chính về vấn đề này và so sánh thời gian đào tạo và biểu diễn trên các mạng thần kinh mô đun và tái phát nặng nề. Xem:

Một số người khác rất tập trung vào mô-đun, nhưng ở lại với đào tạo nguyên khối (xem nghiên cứu của Jacob Andrea , đặc biệt Học cách suy luận rất liên quan đến câu hỏi thứ ba của bạn). Ở đâu đó giữa cuối năm 2019 và tháng ba năm sau, sẽ có nhiều kết quả hơn (tôi tình cờ biết).

Liên quan đến hai câu hỏi cuối cùng của bạn, chúng tôi bắt đầu thấy rằng tính mô đun là chìa khóa chính để khái quát hóa. Hãy để tôi giới thiệu cho bạn một số giấy tờ (bạn có thể tìm thấy tất cả trong arxiv hoặc google scholarship):

  • Kiến trúc thần kinh thích ứng ngẫu nhiên Stochastic Tìm kiếm đốm từ khóa (các biến thể của kiến ​​trúc để cân bằng hiệu suất và sử dụng tài nguyên).

  • Làm cho kiến ​​trúc lập trình thần kinh tổng quát hóa thông qua đệ quy (chúng thực hiện nhiệm vụ dưới mức nhiệm vụ và tôi tin rằng đây là lần đầu tiên việc khái quát hóa được đảm bảo trong lĩnh vực mạng thần kinh).

  • Nắm vững trò chơi cờ vây với mạng lưới thần kinh sâu và tìm kiếm cây (cấu trúc liên kết mạng thực sự là cây tìm kiếm, bạn có thể thấy nhiều hơn về điều này nếu bạn tìm kiếm mạng lưới thần kinh đồ thị).


1

Một so sánh điểm chuẩn của các hệ thống bao gồm các mạng được đào tạo riêng so với các mạng sâu hơn sẽ không thể tiết lộ sự lựa chọn tốt nhất có thể áp dụng chung. 1 Trong tài liệu chúng ta có thể thấy sự gia tăng số lượng các hệ thống lớn hơn, trong đó một số mạng nhân tạo được kết hợp, cùng với các loại thành phần khác. Đó là để được mong đợi. Mô đun hóa khi các hệ thống phát triển phức tạp và nhu cầu về hiệu suất và khả năng tăng trưởng cũng lâu đời như công nghiệp hóa.

Phòng thí nghiệm của chúng tôi hoạt động với điều khiển robot, thiết bị đo nhiệt động và phân tích dữ liệu, mạng nhân tạo là các thành phần trong bối cảnh hệ thống lớn hơn này. chúng tôi không có MLP hoặc RNN đơn lẻ nào tự thực hiện bất kỳ chức năng hữu ích nào.

Trái ngược với phỏng đoán về hệ thống phân cấp từ nhiều thập kỷ trước, phương pháp tô pô dường như hoạt động tốt trong hầu hết các trường hợp tuân theo các mối quan hệ mô-đun hệ thống phổ biến hơn được thấy trong các nhà máy điện, nhà máy tự động, hàng không, kiến ​​trúc thông tin doanh nghiệp và các sáng tạo kỹ thuật phức tạp khác. Các kết nối là kết nối của dòng chảy và nếu chúng được thiết kế tốt, các chức năng giám sát là tối thiểu. Dòng chảy xảy ra giữa các mô-đun liên quan đến các giao thức cho truyền thông và mỗi mô-đun thực hiện tốt chức năng của nó, gói gọn mức độ phức tạp và chi tiết chức năng thấp hơn. Nó không phải là một mạng giám sát một mạng khác dường như nổi lên hiệu quả nhất trong thực tế thực tế nhưng cân bằng và cộng sinh. Xác định thiết kế chủ-nô rõ ràng trong não người dường như cũng trơn trượt không kém.

Thách thức là không tìm thấy các đường dẫn thông tin tạo nên cấu trúc liên kết thông tin hệ thống. Luồng thông tin thường rõ ràng khi phân tích vấn đề. Khó khăn là trong việc khám phá những chiến lược tốt nhất để đào tạo các mạng độc lập này. Phụ thuộc đào tạo là phổ biến và thường rất quan trọng, trong khi ở động vật, việc huấn luyện diễn ra tại chỗ hoặc hoàn toàn không. Chúng tôi đang khám phá các điều kiện theo đó loại hình học tập trong hệ thống của chúng tôi là thiết thực và làm thế nào để đạt được nó. Hầu hết các nghiên cứu của chúng tôi dọc theo các dòng này nhằm khám phá các cách để đạt được độ tin cậy cao hơn và gánh nặng thấp hơn về mặt giờ nghiên cứu để có được nó.

Chức năng cao hơn không phải lúc nào cũng có lợi. Nó thường tạo ra độ tin cậy thấp hơn và tiêu tốn tài nguyên phát triển bổ sung với ít lợi nhuận. Tìm cách kết hợp tự động hóa cấp cao hơn, tiết kiệm tài nguyên và độ tin cậy vào một quy trình phát triển và bạn có thể giành được một giải thưởng và đề cập danh dự trên web.

Các hệ thống song song có cùng một mục tiêu là một ý tưởng tốt, nhưng không phải là một ý tưởng mới. Trong một hệ thống hàng không, chín hệ thống song song có cùng một mục tiêu, trong các nhóm ba. Mỗi nhóm sử dụng một phương pháp tính toán khác nhau. Nếu hai trong số các hệ thống sử dụng cùng một cách tiếp cận cung cấp cùng một đầu ra và thứ ba khác nhau, thì đầu ra khớp được sử dụng và sự khác biệt trong thứ ba được báo cáo là lỗi hệ thống. Nếu hai trong số các cách tiếp cận khác nhau cung cấp kết quả tương tự và cách thứ ba khác nhau đáng kể, thì sự hợp nhất của hai kết quả tương tự được sử dụng và cách thứ ba được báo cáo là trường hợp sử dụng để tiếp tục phát triển phương pháp chống đối.

Khả năng chịu lỗi được cải thiện có chi phí, thêm tám hệ thống và các tài nguyên tính toán và kết nối liên quan cộng với các bộ so sánh ở phần đuôi, nhưng trong các hệ thống là vấn đề của sự sống và cái chết, các chi phí phụ được trả và độ tin cậy được tối đa hóa.

Thích ứng tôpô động có liên quan đến các hệ thống dự phòng và khả năng chịu lỗi nhưng trong một số cách là khá khác biệt. Trong lĩnh vực phát triển đó, công nghệ tiếp theo là điện toán biến đổi thần kinh, một phần được lấy cảm hứng từ tính dẻo dai.

Một điểm khác biệt cuối cùng cần xem xét là giữa cấu trúc liên kết quá trình, cấu trúc liên kết dữ liệu và cấu trúc liên kết phần cứng. Ba khung hình học này có thể tạo ra hiệu quả cao hơn với nhau nếu được căn chỉnh theo những cách cụ thể tạo ra ánh xạ trực tiếp hơn giữa các mối quan hệ giữa dòng chảy, biểu diễn và cơ học. Họ, tuy nhiên, cấu trúc liên kết riêng biệt. Ý nghĩa của sự liên kết có thể không rõ ràng nếu không đi sâu vào các khái niệm này và các chi tiết nổi lên cho các mục tiêu sản phẩm hoặc dịch vụ cụ thể.

Chú thích

[1] Các mạng sâu được đào tạo thành một đơn vị và chức năng duy nhất không có kết nối với các mạng nhân tạo khác không nhất thiết phải là nguyên khối. Hầu hết các mạng sâu thực tế có chuỗi các lớp không đồng nhất về chức năng kích hoạt và thường là các loại tế bào của chúng.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.