Có nên kích hoạt chức năng đơn điệu trong mạng lưới thần kinh?

Rất nhiều chức năng kích hoạt trong các mạng thần kinh (sigmoid, tanh, softmax) là đơn điệu, liên tục và khác biệt (ngoại trừ có thể là một vài điểm, trong đó đạo hàm không tồn tại).

Tôi hiểu lý do cho sự liên tục và khác biệt, nhưng thực sự không thể hiểu lý do cho sự đơn điệu.

Trong giai đoạn huấn luyện, backpropagation thông báo cho mỗi nơ-ron ảnh hưởng đến mức độ của mỗi nơ-ron trong lớp tiếp theo. Nếu chức năng kích hoạt không đơn điệu thì việc tăng trọng lượng của tế bào thần kinh có thể khiến nó có ít ảnh hưởng hơn, ngược lại với ý định. Kết quả sẽ là hành vi chọn lọc trong quá trình đào tạo, với mạng không có khả năng hội tụ đến trạng thái mang lại một phân loại chính xác.