Nói chung tôi có nên kiềm chế mạng lưới thần kinh của mình với ít tế bào thần kinh hơn để nó có ít tế bào thần kinh ReLU chết hơn không? Tôi đã đọc những ý kiến trái ngược nhau về ReLUs đã chết. Một số nguồn tin cho biết ReLU chết là tốt vì chúng khuyến khích sự thưa thớt. Những người khác nói rằng họ xấu vì ReLU chết đã chết vĩnh viễn và ức chế việc học. Có một phương tiện hạnh phúc?
Câu trả lời:
Có một sự khác biệt giữa ReLUs chết và ReLU im lặng trên nhiều đầu vào - nhưng không phải tất cả - đầu vào. Các ReLU chết sẽ được tránh, trong khi các ReLU chủ yếu im lặng có thể hữu ích vì sự thưa thớt mà chúng gây ra.
Các ReLU đã chết đã vào một chế độ tham số trong đó chúng luôn nằm trong miền âm của chức năng kích hoạt. Điều này có thể xảy ra, ví dụ, nếu độ lệch được đặt thành giá trị âm lớn. Vì hàm kích hoạt bằng 0 đối với các giá trị âm, các đơn vị này im lặng cho tất cả các đầu vào. Khi ReLU im lặng, độ dốc của hàm mất đối với các tham số là 0, do đó sẽ không có cập nhật tham số nào xảy ra với học tập dựa trên độ dốc. Bởi vì các ReLU đã chết im lặng cho tất cả các đầu vào, chúng bị mắc kẹt trong chế độ này.
Tương phản điều này với ReLU im lặng trên nhiều nhưng không phải tất cả các đầu vào. Trong trường hợp này, độ dốc vẫn bằng không khi thiết bị im lặng. Nếu chúng tôi đang sử dụng một quy trình học trực tuyến như giảm dần độ dốc nhỏ / ngẫu nhiên, sẽ không có cập nhật tham số nào xảy ra đối với các đầu vào khiến thiết bị im lặng. Nhưng, các bản cập nhật vẫn có thể cho các đầu vào khác, trong đó thiết bị đang hoạt động và độ dốc là khác không.
Bởi vì các ReLU đã chết là im lặng cho tất cả các đầu vào, chúng không đóng góp gì cho mạng và bị lãng phí. Từ góc độ lý thuyết thông tin, bất kỳ đơn vị nào có cùng giá trị đầu ra cho tất cả các đầu vào (cho dù bằng 0 hay không) không mang thông tin về đầu vào. Hầu hết các ReLU im lặng hành xử khác nhau đối với các đầu vào khác nhau và do đó duy trì khả năng mang thông tin hữu ích.