Mục đích và xác định thời điểm sử dụng các lớp ẩn

Theo dõi câu hỏi này ...

Tôi đang cố gắng học cách sử dụng và tạo mạng lưới thần kinh cho nghiên cứu của mình, và một điểm là phần nào thoát khỏi tôi. Tôi nhận ra rằng các lớp ẩn là một phần cần thiết của điều này, tuy nhiên tôi bị mắc kẹt ở hai điểm mà tài liệu tham khảo của tôi không giải thích cho sự hài lòng của tôi:

1. Mục đích chính xác của lớp ẩn là gì?
2. Làm thế nào để xác định có bao nhiêu lớp ẩn để sử dụng?

Từ những gì tôi thu thập được, đó là "mô hình hóa" chức năng trong thế giới thực, nhưng nếu có thể tôi muốn giải thích thêm một chút.

Một lớp ẩn được sử dụng để tăng tính biểu cảm của mạng. Nó cho phép mạng đại diện cho các mô hình phức tạp hơn có thể mà không cần lớp ẩn.

Chọn số lượng các lớp ẩn hoặc nói chung là chọn kiến ​​trúc mạng của bạn bao gồm cả số lượng các đơn vị ẩn trong các lớp ẩn, là những quyết định nên dựa trên dữ liệu đào tạo và xác thực chéo của bạn. Bạn nên huấn luyện mạng với số lượng nút được đặt (để bắt đầu, thử một lớp ẩn, với một đơn vị trên mỗi đơn vị đầu vào) và kiểm tra mô hình.

Xem liên kết này để được trợ giúp thêm: http://www.faqs.org/faqs/ai-faq/neural-nets/part3/section-10.html

Tôi giả sử chúng ta đang thảo luận về các mạng lưới thần kinh chuyển tiếp thức ăn đơn giản, tức là các tri giác nhiều lớp.

1. Lớp ẩn là cần thiết để nắm bắt các phụ thuộc phi tuyến tính giữa các tính năng của dữ liệu của bạn và biến bạn đang cố gắng dự đoán. Nếu bạn không sử dụng một lớp ẩn, bạn cũng có thể sử dụng hồi quy tuyến tính (cho hồi quy) hoặc hồi quy logistic (để phân loại).
2. Bằng cách thử nhiều số lớp ẩn khác nhau và đánh giá mức độ hoạt động của chúng, ví dụ như trong cài đặt xác thực chéo. Thông thường, một lớp ẩn sẽ là đủ và hiệu suất NN được tối ưu hóa bằng cách thay đổi kích thước của nó và tính chính quy.

Lưu ý rằng với hơn hai lớp ẩn, bạn đang ở vùng đất học tập sâu và có lẽ bạn cần các thuật toán tùy chỉnh để đào tạo mạng của mình. Lý do là vì sự lan truyền ngược của vanilla gặp phải vấn đề "độ dốc biến mất" trong các lưới sâu: độ dốc của hàm lỗi bị giảm ở các lớp gần đầu vào và các lớp đó sẽ khó được đào tạo.