Tại sao việc giảm tốc độ học tập SGD gây ra sự gia tăng lớn về độ chính xác?

Trong các bài báo như thế này tôi thường thấy các đường cong đào tạo với hình dạng này:

Trong trường hợp này, SGD đã được sử dụng với hệ số 0,9 và tốc độ học tập giảm theo hệ số 10 cứ sau 30 kỷ nguyên.

• Tại sao có sự sụt giảm lớn như vậy khi lỗi thay đổi tốc độ học tập?
• Tại sao lỗi xác nhận bắt đầu tăng sau khi giảm ban đầu, trong khi lỗi đào tạo tiếp tục giảm?
• Có thể thu được kết quả tương tự bằng cách di chuyển tỷ lệ học tập thứ 2 và tiếp theo thay đổi gần nhau hơn không? Đó là, tại sao sự chậm trễ trong việc giảm thêm?

Với tỷ lệ học tập cao hơn, bạn thực hiện các bước lớn hơn đối với giải pháp. Tuy nhiên, khi bạn ở gần, bạn có thể nhảy qua giải pháp và sau đó bước tiếp theo, bạn lại nhảy qua nó gây ra dao động xung quanh giải pháp. Bây giờ, nếu bạn hạ thấp tốc độ học tập một cách chính xác, bạn sẽ dừng dao động và tiếp tục hướng tới giải pháp một lần nữa. Đó là, cho đến khi bạn bắt đầu dao động một lần nữa. Hãy nhớ rằng một tỷ lệ học tập lớn hơn có thể nhảy qua cực tiểu địa phương nhỏ hơn và giúp bạn tìm thấy một cực tiểu tốt hơn, mà nó không thể nhảy qua. Ngoài ra, nhìn chung lỗi đào tạo trở nên tốt hơn và lỗi xác nhận trở nên tồi tệ hơn khi bạn bắt đầu quá phù hợp với dữ liệu đào tạo.

Bởi vì tốc độ học tập nhỏ hơn cho phép trình tối ưu hóa thoát khỏi các điểm yên ngựa, đó là những gì xảy ra ở mỗi vách đá, thay vì quá mức. Các lỗi xác nhận dao động tiếp cận điểm yên thứ hai. Tiếng ồn làm cho nó khó khăn để nói rằng nó tăng lên với ý nghĩa thống kê, nhưng nếu nó có thể là do quá mức. Tôi không biết bất kỳ kết quả nào liên quan đến sự tách biệt giữa các điểm yên ngựa, vì vậy độ trễ có thể là tùy ý. Tại một số điểm bạn đạt đến đáy, tất nhiên.