Mạng nơ-ron: Có phải một kỷ nguyên trong SGD giống như một kỷ nguyên trong lô nhỏ không?

Trong SGD, một epoch sẽ là phần trình bày đầy đủ của dữ liệu huấn luyện, và sau đó sẽ có N cập nhật trọng lượng cho mỗi epoch (nếu có N ví dụ dữ liệu trong tập huấn luyện).

Nếu bây giờ chúng ta thực hiện các đợt nhỏ thay vào đó, hãy nói theo đợt 20. Liệu một epoch bây giờ có bao gồm các cập nhật trọng lượng N / 20 hay là một epoch 'kéo dài' thêm 20 để nó có cùng số lần cập nhật trọng lượng không?

Tôi hỏi điều này vì trong một vài bài học, dường như quá nhanh so với số lượng kỷ nguyên đã nêu.

Trong thuật ngữ mạng thần kinh:

• một epoch = một vượt qua và một vượt qua tất cả các ví dụ đào tạo
• kích thước lô = số lượng ví dụ đào tạo trong một lần chuyển tiếp / lùi. Kích thước lô càng cao, bạn càng cần nhiều dung lượng bộ nhớ.
• số lần lặp = số lần vượt qua, mỗi lần sử dụng [cỡ lô] số ví dụ. Để rõ ràng, một đường chuyền = một đường chuyền về phía trước + một đường chuyền ngược (chúng tôi không tính đường chuyền về phía trước và đường chuyền ngược là hai đường chuyền khác nhau).

Ví dụ: nếu bạn có 1000 ví dụ đào tạo và kích thước lô của bạn là 500, thì sẽ mất 2 lần lặp để hoàn thành 1 epoch.

Câu trả lời của Franck là không chính xác. Phải mất một chút can đảm để nói điều này bởi vì anh ấy có nhiều đại diện hơn tôi và nhiều người đã bỏ phiếu cho nó.

Epoch là một từ có nghĩa là một lần vượt qua một tập huấn luyện, không phải tất cả các ví dụ đào tạo.

Vì vậy, vâng. Nếu chúng ta thực hiện GD lô nhỏ thay vì GD theo đợt, giả sử trong đợt 20, Một epoch hiện bao gồm cập nhật trọng lượng N / 20. N là tổng số mẫu.

Để được dài dòng, Trong một bước giảm độ dốc hàng loạt, một lần chuyển qua đào tạo cho phép bạn chỉ thực hiện một bước giảm dần độ dốc. Với độ dốc giảm dần theo lô nhỏ (kích thước lô = 5.000), một lần chuyển qua tập huấn luyện, đó là một epoch, cho phép bạn thực hiện 5.000 bước giảm độ dốc.