Làm thế nào để kiểm tra tế bào thần kinh Relu chết

Bối cảnh: Trong khi điều chỉnh các mạng thần kinh với kích hoạt relu, tôi thấy rằng đôi khi dự đoán trở nên gần như không đổi. Tôi tin rằng điều này là do các tế bào thần kinh Relu chết trong quá trình đào tạo như đã nêu ở đây. ( Vấn đề "chết ReLU" trong mạng lưới thần kinh là gì? )

Câu hỏi: Điều tôi hy vọng sẽ làm là thực hiện kiểm tra trong chính mã để kiểm tra xem các tế bào thần kinh đã chết chưa. Sau đó, mã có thể chỉnh lại mạng nếu cần.

Như vậy, một tiêu chí tốt để kiểm tra các tế bào thần kinh đã chết là gì? Hiện tại tôi đang nghĩ đến việc kiểm tra phương sai thấp trong dự đoán như là một tiêu chí.

Nếu nó giúp, tôi đang sử dụng máy ảnh.

Một ReLU đã chết khá nhiều chỉ có nghĩa là giá trị đối số của nó là âm sao cho độ dốc giữ ở mức 0; không có vấn đề làm thế nào bạn đào tạo nó từ thời điểm đó. Bạn có thể chỉ cần nhìn vào gradient trong quá trình đào tạo để xem liệu ReLU đã chết hay chưa.

Trong thực tế, bạn có thể chỉ muốn sử dụng ReLUs bị rò rỉ, tức là thay vì f (x) = max (0, x), bạn đặt f (x) = x nếu x> 0 và f (x) = 0,01x nếu x <= 0 Bằng cách này, bạn luôn cho phép một độ dốc nhỏ khác không và đơn vị sẽ không bị kẹt hoàn toàn trong đào tạo nữa.

Một tế bào thần kinh chết là một tế bào thần kinh không cập nhật trong quá trình đào tạo, tức là. Độ dốc 0.

Máy ảnh cho phép trích xuất gradient trực tiếp cho một hàng dữ liệu nhất định. (Một ví dụ hay khác)

Hoặc bạn có thể trích xuất các trọng số nơ-ron và tự tính toán độ dốc
(ví dụ: đối với relu, đối số phủ định thành relu -> 0 gradient.)

Thật không may, gradient là điểm dữ liệu cụ thể. Chỉ khi độ dốc bằng 0 cho mỗi hàng dữ liệu huấn luyện, bạn mới có thể chắc chắn rằng nơ ron sẽ không cập nhật cho tất cả các xe buýt nhỏ trong thời gian huấn luyện.

Relu rò rỉ có thể là một chiến lược hữu ích vì không có giá trị cho relu rò rỉ trong đó độ dốc bằng 0.