Sự khác biệt giữa tập và kỷ nguyên trong học tập Q sâu là gì?

Tôi đang cố gắng để hiểu bài báo nổi tiếng "Chơi Atari với học tập tăng cường sâu" ( pdf ). Tôi không rõ về sự khác biệt giữa một kỷ nguyên và tập phim . Trong thuật toán , vòng lặp bên ngoài là các tập , trong khi trong hình 2 , trục x được gắn nhãn epoch . Trong bối cảnh học tập củng cố, tôi không rõ ý nghĩa của một kỷ nguyên. Là một epoch một vòng lặp bên ngoài xung quanh vòng lặp tập? $1$$2$

• một tập = một chuỗi các trạng thái, hành động và phần thưởng, kết thúc bằng trạng thái cuối. Ví dụ: chơi toàn bộ trò chơi có thể được coi là một tập, trạng thái cuối được đạt tới khi một người chơi thua / thắng / hòa. Đôi khi, người ta có thể thích xác định một tập là một số trò chơi ( ví dụ : "mỗi tập là vài chục trò chơi, vì các trò chơi tăng lên 21 điểm cho một trong hai người chơi").
• một epoch = một vượt qua và một vượt qua tất cả các ví dụ đào tạo, trong thuật ngữ mạng lưới thần kinh.

Trong bài báo mà bạn đề cập, họ dường như linh hoạt hơn về ý nghĩa của kỷ nguyên, vì họ chỉ định nghĩa một kỷ nguyên là một số lượng cập nhật trọng lượng nhất định. Do đó, bạn có thể xem một epoch như một vòng lặp bên ngoài xung quanh vòng lặp tập, như bạn đã đề cập trong câu hỏi.