Sự khác biệt giữa 'epoch', 'lô' và 'xe buýt nhỏ' là gì?

Theo như tôi biết, khi áp dụng Stochastic Gradient Descent làm thuật toán học tập, một người nào đó sử dụng 'epoch' cho bộ dữ liệu đầy đủ và 'lô' cho dữ liệu được sử dụng trong một bước cập nhật duy nhất, trong khi một người khác sử dụng 'đợt' và 'xe buýt nhỏ' và những người khác sử dụng 'epoch' và 'xe buýt nhỏ'. Điều này mang lại nhiều nhầm lẫn trong khi thảo luận.

Vậy câu nói nào là đúng? Hay chúng chỉ là phương ngữ mà tất cả đều được chấp nhận?

• Đại Kỷ Nguyên có nghĩa là vượt qua toàn bộ tập huấn luyện
• Batch có nghĩa là bạn sử dụng tất cả dữ liệu của mình để tính toán độ dốc trong một lần lặp.
• Mini-batch có nghĩa là bạn chỉ lấy một tập hợp con của tất cả dữ liệu của bạn trong một lần lặp.

$n$

$n$

$b$$b$$n$$n/b$

$n$$n$

"Epoch" thường có nghĩa là phơi bày một thuật toán học tập cho toàn bộ tập hợp dữ liệu đào tạo. Điều này không phải lúc nào cũng có ý nghĩa vì đôi khi chúng ta tạo ra dữ liệu.

"Batch" và "Minibatch" có thể gây nhầm lẫn.

Các ví dụ đào tạo đôi khi cần phải được "bó" bởi vì không phải tất cả dữ liệu có thể nhất thiết phải được tiếp xúc với thuật toán cùng một lúc (do thường bị hạn chế bộ nhớ).

Trong ngữ cảnh của SGD, "Minibatch" có nghĩa là độ dốc được tính trên toàn bộ lô trước khi cập nhật trọng số. Nếu bạn không sử dụng "xe buýt nhỏ", mọi ví dụ đào tạo trong "lô" sẽ cập nhật độc lập các tham số của thuật toán học tập.