Mạng lưới thần kinh hiện đại xây dựng cấu trúc liên kết riêng của họ

Một hạn chế của các thuật toán mạng thần kinh tiêu chuẩn (như backprop) là bạn phải đưa ra quyết định thiết kế về số lượng lớp ẩn và nơ-ron mỗi lớp mà bạn muốn. Thông thường, tỷ lệ học tập và khái quát hóa rất nhạy cảm với những lựa chọn này. Đây là lý do, tại sao các thuật toán mạng thần kinh như tương quan tầng đã tạo ra sự quan tâm. Nó bắt đầu với một cấu trúc liên kết tối thiểu (chỉ đơn vị đầu vào và đầu ra) và tuyển dụng các đơn vị ẩn mới khi quá trình học tập tiến triển.

Thuật toán CC-NN được Fahlman giới thiệu vào năm 1990 và phiên bản lặp lại vào năm 1991. Một số thuật toán mạng thần kinh gần đây (sau năm 1992) bắt đầu với cấu trúc liên kết tối thiểu là gì?

Câu hỏi liên quan

CogSci.SE: Mạng lưới thần kinh với các tài khoản hợp lý về mặt sinh học của sự hình thành thần kinh

Câu hỏi ngầm ở đây là làm thế nào bạn có thể xác định cấu trúc / cấu trúc của mạng thần kinh hoặc mô hình học máy sao cho mô hình "đúng kích cỡ" và không bị quá mức / thiếu.

Kể từ khi tương quan tầng trở lại vào năm 1990, đã có một loạt các phương pháp để thực hiện điều này ngay bây giờ, nhiều trong số chúng có các tính chất thống kê hoặc tính toán tốt hơn nhiều:

• thúc đẩy: đào tạo một người học yếu tại một thời điểm, với mỗi người học yếu được cung cấp một bộ huấn luyện được thiết kế lại để nó học được những điều mà những người học trước đây chưa từng học.
• độ thưa thớt gây ra sự chính quy hóa như lasso hoặc xác định mức độ liên quan tự động: bắt đầu với một mô hình / mạng lớn và sử dụng một bộ thường xuyên khuyến khích các đơn vị không cần thiết bị "tắt", khiến những thiết bị này hoạt động hữu ích.
• Bayesian nonparametrics: quên cố gắng tìm kích thước mô hình "đúng". Chỉ cần sử dụng một mô hình lớn và cẩn thận với việc thường xuyên hóa / là Bayes, vì vậy bạn không quá phù hợp. Ví dụ, một mạng lưới thần kinh với số lượng đơn vị vô hạn và các linh mục Gaussian có thể được coi là một quá trình Gaussian, hóa ra việc đào tạo đơn giản hơn nhiều.
• Học sâu: như đã lưu ý trong một câu trả lời khác, đào tạo một mạng lưới sâu một lớp tại một thời điểm. Điều này thực sự không giải quyết được vấn đề xác định số lượng đơn vị trên mỗi lớp - thường thì điều này vẫn được đặt bằng tay hoặc xác thực chéo.

Làm thế nào về NeuroEvolution of Augmenting Topology (NEAT) http://www.cs.ucf.edu/~kstanley/neat.html

Nó dường như hoạt động cho các vấn đề đơn giản, nhưng rất chậm để hội tụ.

Theo tôi hiểu, đỉnh cao của nghệ thuật ngày nay là "Học tập không giới hạn và học sâu". tóm lại: mạng đang được đào tạo theo cách không giám sát, mỗi lớp một lúc:

• http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial
• http://www.youtube.com/watch?v=ZmNOAtZIgIk&feature=player_embedded

Đã có một đề cập đến NEAT (Tiến hóa thần kinh với các cấu trúc liên kết tăng cường). Có những tiến bộ về điều này bao gồm cả sự đầu cơ và HyperNEAT. HyperNEAT sử dụng mạng 'meta' để tối ưu hóa trọng số của kiểu hình được kết nối đầy đủ. Điều này mang lại cho một mạng lưới 'nhận thức không gian', là vô giá trong các vấn đề về nhận dạng hình ảnh và bảng trò chơi. Bạn cũng không giới hạn ở 2D. Tôi đang sử dụng nó trong 1D để phân tích tín hiệu và 2D trở lên là có thể nhưng lại nặng về yêu cầu xử lý. Tìm các bài báo của Ken Stanley và có một nhóm trên Yahoo. Nếu bạn gặp sự cố có thể xử lý được với mạng, thì NEAT và / hoặc HyperNEAT cũng có thể được áp dụng.

Có một bài báo gần đây về chủ đề này: RP Adams, H. Wallach và Zoubin Ghahramani. Học cấu trúc của các mô hình đồ họa thưa thớt sâu. Đây là một chút bên ngoài cộng đồng mạng thần kinh thông thường và nhiều hơn nữa về phía máy học. Bài viết sử dụng suy luận Bayes không tham số trên cấu trúc mạng.