2
Khi nào nên sử dụng (He hoặc Glorot) khởi tạo bình thường trên đồng phục init? Và tác dụng của nó với Batch Normalization là gì?
Tôi biết rằng Mạng dư (ResNet) khiến cho việc khởi tạo bình thường trở nên phổ biến. Trong ResNet, He khởi tạo bình thường được sử dụng , trong khi lớp đầu tiên sử dụng khởi tạo thống nhất He. Tôi đã xem qua giấy ResNet và giấy "Đi sâu …