Có bất kỳ chức năng kích hoạt có thể làm cho bình thường hóa hàng loạt lỗi thời?

Trong khi học bình thường hóa hàng loạt, tôi đã nghĩ tại sao chúng ta không thể giải quyết "vấn đề tỷ lệ gradient" bằng cách sử dụng một chức năng kích hoạt phù hợp?

Giống như chúng ta không thể trì hoãn và mở rộng chức năng kích hoạt thay vì nhân rộng toàn bộ dữ liệu và đảm bảo rằng phương sai được bảo toàn thông qua nó?

Những gì bạn mô tả nghe có vẻ rất giống các đơn vị tuyến tính theo tỷ lệ theo tỷ lệ (SELU), đó là cốt lõi của Mạng thần kinh tự chuẩn hóa , được trình bày tại NIPS 2017.

Một tóm tắt ngắn từ đây là:

Nếu giá trị trung bình và phương sai của đầu vào nằm trong phạm vi nhất định, thì giá trị trung bình và phương sai của đầu ra cũng sẽ nằm trong phạm vi đó và (2) hội tụ đến một điểm cố định sau khi lặp lại chức năng kích hoạt.

Bạn có thể muốn có một cái nhìn vào các bình luận bài viết reddit . Nếu bạn muốn hiểu đầy đủ về chúng, bạn có thể tiếp tục với phần phụ lục dài 90 trang của bản in sẵn arxiv .

Họ đã nhận được rất nhiều sự chú ý khi họ được trình bày, nhưng tôi nghĩ rằng họ đã không đáp ứng được kỳ vọng, vì dường như không ai nói về họ gần đây trên internet .