Làm thế nào để quyết định kiến ​​trúc mạng thần kinh?

Tôi đã tự hỏi làm thế nào để chúng ta phải quyết định có bao nhiêu nút trong các lớp ẩn và bao nhiêu lớp ẩn để đặt khi chúng ta xây dựng một kiến ​​trúc mạng thần kinh.

Tôi hiểu lớp đầu vào và đầu ra phụ thuộc vào tập huấn luyện mà chúng ta có nhưng làm thế nào để chúng ta quyết định lớp ẩn và kiến ​​trúc tổng thể nói chung?

Đáng buồn thay, không có cách chung nào để xác định một tiên nghiệm số lượng tế bào thần kinh và số lớp tốt nhất cho mạng lưới thần kinh, chỉ đưa ra một mô tả vấn đề. Thậm chí không có nhiều hướng dẫn để xác định các giá trị tốt để thử làm điểm khởi đầu.

Cách tiếp cận phổ biến nhất dường như là bắt đầu với một phỏng đoán sơ bộ dựa trên kinh nghiệm trước đó về các mạng được sử dụng cho các vấn đề tương tự. Đây có thể là kinh nghiệm của riêng bạn, hoặc kinh nghiệm thứ hai / thứ ba bạn đã chọn từ một khóa đào tạo, blog hoặc nghiên cứu. Sau đó thử một số biến thể và kiểm tra hiệu suất cẩn thận trước khi chọn một biến thể tốt nhất.

Kích thước và độ sâu của các mạng thần kinh cũng tương tác với các siêu tham số khác , do đó việc thay đổi một thứ ở nơi khác có thể ảnh hưởng đến nơi có các giá trị tốt nhất. Vì vậy, không thể cách ly kích thước và độ sâu "tốt nhất" cho mạng sau đó tiếp tục điều chỉnh các tham số khác trong sự cô lập. Chẳng hạn, nếu bạn có một mạng rất sâu, nó có thể hoạt động hiệu quả với chức năng kích hoạt ReLU, nhưng không tốt lắm với sigmoid - nếu bạn tìm thấy kích thước / hình dạng tốt nhất của mạng và sau đó thử một thử nghiệm với các chức năng kích hoạt khác nhau, bạn có thể đến để kết luận sai về những gì làm việc tốt nhất.

Đôi khi bạn có thể đọc về "quy tắc ngón tay cái" mà các nhà nghiên cứu sử dụng khi bắt đầu thiết kế mạng thần kinh từ đầu. Những điều này có thể làm việc cho các vấn đề của bạn hoặc không, nhưng ít nhất chúng có lợi thế là bắt đầu vấn đề. Các biến thể tôi đã thấy là:

• Tạo một mạng với các lớp ẩn có thứ tự kích thước tương tự với đầu vào và tất cả cùng kích thước, với lý do không có lý do cụ thể nào để thay đổi kích thước (trừ khi bạn có thể tạo bộ mã hóa tự động).

• Bắt đầu đơn giản và xây dựng sự phức tạp để xem những gì cải thiện một mạng đơn giản.

• Hãy thử các độ sâu khác nhau của mạng nếu bạn muốn đầu ra được giải thích tốt bằng dữ liệu đầu vào, nhưng với một mối quan hệ phức tạp (trái ngược với việc chỉ gây ồn ào vốn có).

• Hãy thử thêm một số lần bỏ học, đó là mạng lưới thần kinh gần nhất phải có phép thuật thần tiên giúp mọi thứ trở nên tốt hơn (báo trước: thêm bỏ học có thể cải thiện việc khái quát hóa, nhưng cũng có thể tăng kích thước lớp và thời gian đào tạo cần thiết).

Nếu bạn đọc những thứ này hoặc bất cứ thứ gì giống như chúng trong bất kỳ văn bản nào, thì hãy dùng chúng với một nhúm muối. Tuy nhiên, tệ nhất là chúng giúp bạn vượt qua hiệu ứng trang trống và viết một số loại mạng và giúp bạn bắt đầu quá trình thử nghiệm và sàng lọc.

Bên cạnh đó, cố gắng đừng quá lạc lõng trong việc điều chỉnh mạng lưới thần kinh khi một số phương pháp khác có thể tốt hơn và giúp bạn tiết kiệm rất nhiều thời gian. Hãy xem xét và sử dụng các phương pháp tiếp cận khoa học dữ liệu và học máy khác. Khám phá dữ liệu, có thể thực hiện một số lô. Trước tiên, hãy thử một số cách tiếp cận tuyến tính đơn giản để có điểm chuẩn để đánh bại, hồi quy tuyến tính, hồi quy logistic hoặc hồi quy softmax tùy thuộc vào vấn đề của bạn. Cân nhắc sử dụng thuật toán ML khác nhau cho NN - các cách tiếp cận dựa trên cây quyết định như XGBoost có thể nhanh hơn và hiệu quả hơn so với học sâu về nhiều vấn đề.