Tại sao 'mất' thay đổi tùy thuộc vào số lượng kỷ nguyên được chọn?

Tôi đang sử dụng Keras để đào tạo NN khác nhau. Tôi muốn biết tại sao nếu tôi tăng các kỷ nguyên trong 1, kết quả cho đến khi kỷ nguyên mới không giống nhau. Tôi đang sử dụng shuffle = false và np.random.seed (2017) và tôi đã kiểm tra xem nếu tôi lặp lại với cùng số epoch, kết quả là như nhau, vì vậy không khởi tạo ngẫu nhiên nào hoạt động.

Ở đây tôi đính kèm hình ảnh của khóa đào tạo kết quả với 2 epoch:

Và ở đây tôi đính kèm hình ảnh của khóa đào tạo kết quả với 3 kỷ nguyên:

Ngoài ra, tôi muốn biết lý do tại sao thời gian đào tạo không phải là (3/2) và làm thế nào có thể một số trong số họ có độ chính xác thấp hơn với một kỷ nguyên nữa.

Cảm ơn rất nhiều!

Bạn đang sử dụng hai trình tối ưu hóa ở đây: Stochastic Gradient Descent (SGD) và Adam (là một biến thể phức tạp hơn của SGD).

Vì vậy, phần "Stochastic" có nghĩa là nó ngẫu nhiên.

Độ dốc dốc ngẫu nhiên hoạt động bằng cách lấy một phần ngẫu nhiên nhỏ hơn của dữ liệu huấn luyện, được gọi là "lô nhỏ" và truyền lại (tàu) về điều này. Làm điều này cho đến khi toàn bộ dữ liệu được xử lý một lần thường được gọi là một epoch *.

Đây là cách làm giảm độ dốc hoạt động một cách ngắn gọn: Hãy tưởng tượng bạn đang đi xuống một ngọn đồi hình chữ U. Bạn khá xa trong hình chữ U và bạn muốn đi xa hơn bằng cách nhảy. Bạn tìm ra hướng nào là "xuống" cho bạn: và sau đó bạn nhảy. Nhưng thật đáng tiếc: bạn đã nhảy quá xa và cuối cùng bạn đã đi lên phía bên kia của chữ U!

Đó chỉ là một ví dụ đơn giản. Bạn có thể đang làm việc trong WAY kích thước lớn hơn, điều này làm phức tạp sự tương tự này một chút.

Dù sao, điều này dẫn đến hậu quả là sự mất mát có thể tăng lên theo thời gian khi bạn đào tạo một kỷ nguyên khác. Nếu bạn đang đào tạo rất nhiều kỷ nguyên và sự mất mát cứ tăng lên, bạn nên kiểm tra tốc độ học tập (điều này về cơ bản quyết định mức độ "nhảy" lớn như thế nào).

Hy vọng nó giúp :)

*: Có nhiều cách khác để định nghĩa một kỷ nguyên, nhưng tất cả đều có các biến thể của điều này.