4
Làm thế nào để chức năng kích hoạt trực tuyến giải quyết vấn đề gradient biến mất trong các mạng thần kinh?
Tôi tìm thấy đơn vị tuyến tính chỉnh lưu (ReLU) được ca ngợi ở một số nơi như là một giải pháp cho vấn đề độ dốc biến mất cho các mạng thần kinh. Nghĩa là, người ta sử dụng max (0, x) làm chức năng kích hoạt. Khi kích …