Mất đào tạo đi xuống và lên một lần nữa. Chuyện gì đang xảy ra vậy?

Mất tập luyện của tôi đi xuống và sau đó lên một lần nữa. Nó rất kỳ lạ. Mất xác nhận chéo theo dõi tổn thất đào tạo. Chuyện gì đang xảy ra vậy?

Tôi có hai LSTMS xếp chồng như sau (trên Keras):

model = Sequential()
model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices))))
model.add(Dropout(0.2))
model.add(LSTM(512, return_sequences=False))
model.add(Dropout(0.2))
model.add(Dense(len(nd.categories)))
model.add(Activation('sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='adadelta')

Tôi huấn luyện nó cho 100 Kỷ nguyên:

model.fit(X_train, np.array(y_train), batch_size=1024, nb_epoch=100, validation_split=0.2)

Đào tạo trên 127804 mẫu, xác nhận trên 31951 mẫu

Và đó là những gì mất mát trông giống như:

Tỷ lệ học tập của bạn có thể lớn sau kỷ nguyên 25. Vấn đề này rất dễ xác định. Bạn chỉ cần thiết lập một giá trị nhỏ hơn cho tỷ lệ học tập của bạn. Nếu vấn đề liên quan đến tốc độ học tập của bạn so với NN sẽ xảy ra lỗi thấp hơn mặc dù sau đó nó sẽ tăng trở lại. Điểm chính là tỷ lệ lỗi sẽ thấp hơn trong một số thời điểm.

Nếu bạn quan sát hành vi này, bạn có thể sử dụng hai giải pháp đơn giản. Đầu tiên là một đơn giản nhất. Thiết lập một bước rất nhỏ và đào tạo nó. Thứ hai là giảm tỷ lệ học tập của bạn một cách đơn điệu. Đây là một công thức đơn giản:

Trong đó là tốc độ học tập của bạn, là số lần lặp của bạn và là một hệ số xác định tốc độ học tập giảm tốc độ. Điều đó có nghĩa là bước của bạn sẽ giảm thiểu theo hệ số hai khi bằng .t m t $a$$t$$m$$t$$m$