Tại thời điểm này, các phương pháp dựa trên độ dốc ngẫu nhiên hầu như luôn là thuật toán được lựa chọn để học sâu. Điều này có nghĩa là dữ liệu xuất hiện theo lô, độ dốc được tính toán và các tham số được cập nhật. Điều này có nghĩa là bạn cũng có thể tính toán tổn thất trên dữ liệu khi mỗi lô được chọn. Trong khuôn khổ này, có hai cách thức như thế nào sự mất mát được tính mà tôi có thể nghĩ ra có thể dẫn đến hiện tượng này rằng lỗi đào tạo lớn hơn sai số xác nhận. Dưới đây, trên thực tế, tôi cho thấy Keras thực sự xuất hiện để tính toán các lỗi trong mẫu theo những cách này.
1.) Lỗi đào tạo được tính trung bình trên toàn bộ kỷ nguyên, thay vì tất cả cùng một lúc ở cuối kỷ nguyên, nhưng lỗi xác thực chỉ ở cuối kỷ nguyên. Lưu ý rằng lỗi xác thực có lợi ích là được cập nhật đầy đủ, trong khi lỗi đào tạo bao gồm các tính toán lỗi với ít cập nhật hơn. Tất nhiên, nói chung hiệu ứng này sẽ biến mất.
2.) Lỗi đào tạo được tính toán trước khi cập nhật hàng loạt được thực hiện. Trong một phương pháp dựa trên độ dốc ngẫu nhiên, có một số nhiễu độ dốc. Trong khi một người đang leo lên một ngọn đồi, có khả năng cao là một người đang giảm tổn thất toàn cầu được tính toán trên tất cả các mẫu đào tạo. Tuy nhiên, khi một chế độ rất gần với chế độ, hướng cập nhật sẽ âm đối với các mẫu trong lô của bạn. Nhưng vì chúng ta đang nảy xung quanh một chế độ, điều này có nghĩa là trung bình chúng ta phải chọn một hướng tích cực đối với các mẫu racủa đợt. Bây giờ, nếu chúng ta sắp cập nhật liên quan đến các mẫu trong một đợt nhất định, điều đó có nghĩa là chúng đã bị đẩy xung quanh bởi nhiều bản cập nhật lô mà chúng không được đưa vào, bằng cách tính toán mất trước khi cập nhật, đây là khi ngẫu nhiên các phương pháp đã đẩy các tham số có lợi nhất cho các mẫu khác trong tập dữ liệu của bạn, do đó mang lại cho chúng tôi một xu hướng tăng nhỏ trong tổn thất dự kiến.
Lưu ý rằng trong khi không có triệu chứng, hiệu ứng của (1) sẽ biến mất, (2) thì không! Dưới đây tôi chỉ ra rằng Keras dường như làm cả (1) và (2).
(1) Hiển thị rằng các số liệu được tính trung bình trên mỗi lô theo thời gian, thay vì tất cả cùng một lúc ở cuối. Lưu ý sự khác biệt lớn về độ chính xác trong mẫu so với val_accuracy ủng hộ val_accuracy ở kỷ nguyên đầu tiên. Điều này là do một số lỗi trong mẫu được tính toán với rất ít cập nhật hàng loạt.
>>> model.fit(Xtrn, Xtrn, epochs = 3, batch_size = 100,
... validation_data = (Xtst, Xtst))
Train on 46580 samples, validate on 1000 samples
Epoch 1/3
46580/46580 [==============================] - 8s 176us/sample
- loss: 0.2320 - accuracy: 0.9216
- val_loss: 0.1581 - val_accuracy: 0.9636
Epoch 2/3
46580/46580 [==============================] - 8s 165us/sample
- loss: 0.1487 - accuracy: 0.9662
- val_loss: 0.1545 - val_accuracy: 0.9677
Epoch 3/3
46580/46580 [==============================] - 8s 165us/sample
- loss: 0.1471 - accuracy: 0.9687
- val_loss: 0.1424 - val_accuracy: 0.9699
<tensorflow.python.keras.callbacks.History object at 0x17070d080>
(2) Hiển thị lỗi được tính toán trước khi cập nhật cho từng lô. Lưu ý rằng đối với epoch 1, khi chúng ta sử dụng batch_size = nRows(nghĩa là tất cả dữ liệu trong một đợt), lỗi trong mẫu là khoảng 0,5 (đoán ngẫu nhiên) cho epoch 1, nhưng lỗi xác thực là 0,82. Do đó, lỗi trong mẫu được tính toán trước khi cập nhật lô, trong khi lỗi xác thực được tính sau khi cập nhật lô.
>>> model.fit(Xtrn, Xtrn, epochs = 3, batch_size = nRows,
... validation_data = (Xtst, Xtst))
Train on 46580 samples, validate on 1000 samples
Epoch 1/3
46580/46580 [==============================] - 9s 201us/sample
- loss: 0.7126 - accuracy: 0.5088
- val_loss: 0.5779 - val_accuracy: 0.8191
Epoch 2/3
46580/46580 [==============================] - 6s 136us/sample
- loss: 0.5770 - accuracy: 0.8211
- val_loss: 0.4940 - val_accuracy: 0.8249
Epoch 3/3
46580/46580 [==============================] - 6s 120us/sample
- loss: 0.4921 - accuracy: 0.8268
- val_loss: 0.4502 - val_accuracy: 0.8249