Làm thế nào để thuật ngữ động lượng cho thuật toán backpropagation hoạt động?

Khi cập nhật các trọng số của mạng nơ ron bằng thuật toán backpropagation với một thuật ngữ động lượng, liệu tốc độ học tập có nên được áp dụng cho thuật ngữ động lượng không?

Hầu hết các thông tin tôi có thể tìm thấy về việc sử dụng động lượng đều có các phương trình trông giống như thế này:

$W_{i}' = W_{i} - \alpha \Delta W_i + \mu \Delta W_{i-1}$

trong đó là tốc độ học tập và là thuật ngữ động lượng.$\alpha$$\mu$

nếu thuật ngữ lớn hơn thuật ngữ thì trong lần lặp tiếp theo, từ lần lặp trước sẽ có ảnh hưởng lớn hơn đến trọng số so với thuật ngữ hiện tại.$\mu$$\alpha$$\Delta W$

Đây có phải là mục đích của thuật ngữ động lượng? hoặc phương trình nên giống như thế này?

$W_{i}' = W_{i} - \alpha( \Delta W_i + \mu \Delta W_{i-1})$

I E. nhân rộng mọi thứ theo tỷ lệ học tập?

Sử dụng Backpropagation với động lượng trong một mạng có trọng lượng khác nhau , hiệu chỉnh thứ cho trọng lượng được đưa ra bởi$n$$W_k$$i$$W_k$

$\Delta W_k(i) = -\alpha \frac{\partial E}{\partial W_k} + \mu \Delta W_k(i-1)$ trong đó là biến thể của sự mất mát wrt .$\frac{\partial E}{\partial W_k}$$W_k$

Giới thiệu tốc độ động lượng cho phép suy giảm các dao động trong độ dốc giảm dần. Ý tưởng hình học đằng sau ý tưởng này có lẽ có thể được hiểu rõ nhất dưới dạng phân tích không gian eigens trong trường hợp tuyến tính. Nếu tỷ lệ giữa giá trị riêng thấp nhất và lớn nhất là lớn thì việc thực hiện giảm độ dốc là chậm ngay cả khi tốc độ học tập lớn do điều hòa của ma trận. Động lượng giới thiệu một số cân bằng trong bản cập nhật giữa các hàm riêng liên quan đến giá trị riêng thấp hơn và lớn hơn.

Để biết thêm chi tiết tôi tham khảo

http://page.mi.fu-berlin.de/rojas/neural/ch CHƯƠNG / K8.pdf