Thích ứng mạng lưới thần kinh

Trong một số trường hợp, tôi đã đào tạo một số mạng thần kinh (mạng lan truyền ngược) với một số bộ dữ liệu khá phức tạp (vị trí backgammon và OCR). Khi làm điều này, có vẻ như rất nhiều công việc liên quan đến việc thử các cấu hình khác nhau của các mạng, để tìm cấu hình tối ưu cho việc học. Thường có một sự thỏa hiệp giữa các mạng nhỏ để sử dụng / học hỏi nhanh hơn và các mạng lớn hơn, có khả năng thể hiện nhiều kiến ​​thức hơn.

Sau đó, tôi tự hỏi nếu có thể làm cho một số mạng vừa nhanh và lớn. Tôi nghĩ rằng ở mạng nơi mọi nơ-ron không được kết nối đầy đủ phải nhanh hơn để tính toán so với các mạng có kết nối đầy đủ trên tất cả các lớp. Nó có thể là đào tạo đã phát hiện ra rằng một số đầu vào nhất định là không cần thiết bởi các tế bào thần kinh nhất định, và do đó loại bỏ các kết nối đó. Theo cách tương tự, việc đào tạo cũng có thể liên quan đến việc thêm các nơ-ron mới nếu một số nơ-ron dường như bị "quá tải".

Đây có phải là một cái gì đó đã được thử với bất kỳ thành công? Có lớp học nào tồn tại với loại hành vi này không?

Đây gần như là một vấn đề mở đối với nghiên cứu đang diễn ra với nhiều chiến lược và phương pháp phỏng đoán khác nhau được biết đến. Một từ khóa là " kiến trúc mạng thần kinh ". Chiến lược cơ bản nhất là lặp lại thông qua các cấu trúc liên kết mạng và đào tạo lại cho từng loại. Một chiến lược khác là bắt đầu với một mạng lưới tương đối lớn hơn và cắt tỉa các kết nối có trọng lượng thấp và đào tạo lại và tìm kiếm các cải tiến; năm trước đây được gọi là "tổn thương não" trong ít nhất một bài báo [2]. Dưới đây là một số ví dụ tham khảo. Có nhiều người khác. Ngoài ra còn có khả năng sử dụng GA thuật toán giống để xác định cấu trúc mạng [3]. Đây là một phần của bản tóm tắt từ [1]:

Việc sử dụng ANN đòi hỏi một số quyết định quan trọng đối với người dùng, điều này có thể ảnh hưởng đến độ chính xác của phân loại kết quả. Trong nghiên cứu này, việc xác định cấu trúc mạng tối ưu, một trong những thuộc tính quan trọng nhất của mạng, được nghiên cứu. Cấu trúc của mạng có ảnh hưởng trực tiếp đến thời gian đào tạo và độ chính xác phân loại. Mặc dù có một số thảo luận trong tài liệu về tác động của cấu trúc mạng đến hiệu suất của mạng, không có phương pháp hoặc cách tiếp cận nhất định để xác định cấu trúc tốt nhất. Các nghiên cứu về mối quan hệ giữa cấu trúc mạng và độ chính xác của phân loại được báo cáo ở đây, sử dụng bộ công cụ MATLAB để tận dụng lợi thế của hình dung khoa học.

[1] Xác định cấu trúc tối ưu cho mạng nơ ron nhân tạo bằng tác vụ của Kavzoglu

[2] Tổn thương não tối ưu Le Cun, Denker, Solla

[3] Tìm kiếm kiến ​​trúc mạng thần kinh tối ưu bằng thuật toán di truyền Britos et al