Phân rã trọng lượng chỉ định chính quy trong mạng lưới thần kinh.
Trong quá trình đào tạo, một thuật ngữ chính quy được thêm vào tổn thất của mạng để tính toán độ dốc backpropagation. Các weight decay
giá trị xác định cách chi phối hạn quy tắc này sẽ nằm trong tính toán gradient.
Theo nguyên tắc thông thường, bạn càng có nhiều ví dụ đào tạo, thuật ngữ này càng yếu. Càng nhiều tham số bạn có thuật ngữ này càng cao.
Vì vậy, Trọng lượng phân rã là một thuật ngữ chính quy hóa phạt trọng lượng lớn. Khi hệ số phân rã trọng lượng lớn, hình phạt cho trọng lượng lớn cũng lớn, khi đó trọng lượng nhỏ có thể tự do phát triển.
Vì vậy, bây giờ nếu bạn quay lại đọc câu trả lời mà bạn đã liên kết trong câu hỏi của mình, nó sẽ hoàn toàn có ý nghĩa ngay bây giờ.