Số lượng tối ưu của các lớp trong một mạng lưới thần kinh?

Làm cách nào để quyết định số lớp tối ưu được tạo trong khi triển khai Mạng thần kinh (Feedforward, truyền ngược hoặc RNN)?

neural-networks hidden-layers

— v01d
nguồn

Có một kỹ thuật được gọi Pruningtrong các mạng thần kinh, được sử dụng cho cùng mục đích này.

Việc cắt tỉa được thực hiện trên số lượng các lớp ẩn. Quá trình này rất giống với quá trình cắt tỉa của cây quyết định. Quá trình cắt tỉa được thực hiện như sau:

Đào tạo một mạng lưới lớn, kết nối dày đặc với thuật toán đào tạo tiêu chuẩn
Kiểm tra mạng được đào tạo để đánh giá tầm quan trọng tương đối của các trọng số
Loại bỏ trọng lượng ít quan trọng nhất
đào tạo lại mạng bị cắt tỉa
Lặp lại các bước 2-4 cho đến khi hài lòng

Tuy nhiên, có một số phương pháp tối ưu hóa để cắt tỉa lưới thần kinh, và nó cũng là một lĩnh vực nghiên cứu rất tích cực .

— Dawny33
nguồn

Một cách tiếp cận đối xứng là "tìm kiếm lưới" phổ biến được áp dụng cho kiến trúc mạng. Bắt đầu nhỏ (rất nhanh) và tự động thử các kiến trúc lớn hơn. Tất cả điều này chỉ là sức mạnh vũ phu, mặc dù ...

— Eric Platon

@EricPlaton +1 để tìm kiếm lưới. Rất tiện dụng trong đại số ML tăng cường. Nhưng, không phải nó được tính toán rất chuyên sâu sao?

— Dawny33

Vâng, nó là đắt tiền. Tuy nhiên, khi chúng ta có thể bắt đầu nhỏ, các giai đoạn đầu tiên có thể diễn ra khá nhanh, và đưa ra một ý tưởng tốt hơn để nhắm đến.

— Eric Platon

@EricPlaton "Tìm kiếm lưới" sẽ xứng đáng có câu trả lời riêng cho nó :)

— Dawny33

Tôi đã nghĩ về nó, nhưng sau đó sẽ có hai câu trả lời thay thế và có lẽ "đúng như nhau" ... Tôi nghĩ điều tốt nhất cho người đọc là biên dịch câu trả lời thành một.

— Eric Platon

Bạn có thể xem tối ưu hóa siêu tham số Bayes như là một phương pháp chung để tối ưu hóa tổn thất (hoặc bất cứ thứ gì) như là một chức năng của siêu đường kính. Nhưng lưu ý rằng nói chung, mạng của bạn càng sâu thì càng tốt, vì vậy tối ưu hóa mất mát vì chức năng của số lớp không phải là một điều rất thú vị để làm.

Tìm kiếm lưới và một chút ý nghĩa thông thường (như đã học bằng cách xem nhiều ví dụ) nên là lựa chọn tốt nhất của bạn.

— kc sayz 'kc sayz'
nguồn