Lợi ích của phân phối bình thường bị cắt cụt trong việc khởi tạo trọng số trong mạng lưới thần kinh là gì?

Khi khởi tạo trọng lượng kết nối trong mạng nơ ron phản hồi, điều quan trọng là khởi tạo chúng ngẫu nhiên để tránh mọi đối xứng mà thuật toán học sẽ không thể phá vỡ.

Khuyến nghị mà tôi đã thấy ở nhiều nơi (ví dụ: trong hướng dẫn MNIST của TensorFlow ) là sử dụng phân phối chuẩn bị cắt ngắn bằng cách sử dụng độ lệch chuẩn của , trong đó là số lượng đầu vào cho cho lớp tế bào thần kinh.$\dfrac{1}{\sqrt{N}}$$N$

Tôi tin rằng công thức độ lệch chuẩn đảm bảo rằng các gradient được sao lưu không hòa tan hoặc khuếch đại quá nhanh. Nhưng tôi không biết tại sao chúng ta lại sử dụng phân phối bình thường bị cắt ngắn chứ không phải phân phối bình thường. Có phải để tránh trọng lượng ngoại lệ hiếm?

Tôi nghĩ rằng đó là về sự bão hòa của các tế bào thần kinh. Hãy nghĩ về bạn có một chức năng kích hoạt như sigmoid.

Nếu trọng lượng val của bạn nhận được giá trị> = 2 hoặc <= - 2 tế bào thần kinh của bạn sẽ không học được. Vì vậy, nếu bạn cắt bớt phân phối bình thường của mình, bạn sẽ không gặp phải vấn đề này (ít nhất là từ việc khởi tạo) dựa trên phương sai của bạn. Tôi nghĩ đó là lý do tại sao, tốt hơn là sử dụng cắt ngắn bình thường nói chung.

Lợi ích của việc sử dụng phân phối bình thường bị cắt ngắn là để ngăn chặn việc tạo ra "các nơ-ron chết" do sử dụng relu_logits , được giải thích ở đây .

Nhìn chung, người ta nên khởi tạo các trọng số với một lượng nhiễu nhỏ để phá vỡ đối xứng và để ngăn 0 độ dốc. Vì chúng tôi đang sử dụng các nơ-ron ReLU, nên cũng nên khởi tạo chúng với độ lệch ban đầu hơi tích cực để tránh "các nơ-ron chết".