Làm thế nào nên thiên vị được khởi tạo và thường xuyên?

Tôi đã đọc một vài giấy tờ về khởi tạo hạt nhân và nhiều giấy tờ kể rằng họ sử dụng L2 quy tắc của hạt nhân (thường với ).$\lambda = 0.0001$

Có ai làm điều gì khác hơn là khởi tạo sai lệch với số không liên tục và không thường xuyên hóa nó không?

Giấy tờ khởi tạo hạt nhân

• Mishkin và Matas: Tất cả những gì bạn cần là một khởi đầu tốt
• Xavier Glorot và Yoshua Bengio: Hiểu được sự khó khăn của việc đào tạo mạng lưới thần kinh sâu rộng
• Ông và cộng sự: Đi sâu vào các bộ chỉnh lưu: Vượt qua hiệu suất ở cấp độ con người trong phân loại ImageNet

Từ Ghi chú Stanford CS231N ( http://cs231n.github.io/neural-networks-2/ ):

Khởi tạo những thành kiến. Có thể và thông thường để khởi tạo các độ lệch bằng 0, vì phá vỡ bất đối xứng được cung cấp bởi các số ngẫu nhiên nhỏ trong các trọng số. Đối với phi tuyến ReLU, một số người thích sử dụng giá trị không đổi nhỏ như 0,01 cho tất cả các sai lệch vì điều này đảm bảo rằng tất cả các đơn vị ReLU bắn vào đầu và do đó thu được và truyền một số độ dốc. Tuy nhiên, không rõ liệu điều này có mang lại sự cải thiện nhất quán hay không (thực tế một số kết quả dường như cho thấy điều này thực hiện kém hơn) và thông thường hơn là chỉ sử dụng khởi tạo 0 thiên vị.

Trong các LSTM, thông thường để khởi tạo các thành kiến ​​thành 1 - xem ví dụ: http://www.jmlr.org/proceedings/ con / v37 / jozefowicz15.pdf .