Sự khác biệt giữa học trực tuyến và học tập theo đợt là gì?

Tôi hiện đang đọc bài báo Học trực tuyến và Batch hiệu quả bằng cách sử dụng Chia tách tiến lùi của John Duchi và Yoram Singer. Tôi rất bối rối về việc sử dụng các thuật ngữ 'Trực tuyến' và 'Batch'.

Tôi nghĩ rằng 'Trực tuyến' có nghĩa là chúng tôi cập nhật các tham số trọng lượng sau khi xử lý một đơn vị dữ liệu đào tạo. Sau đó, chúng tôi sử dụng các tham số trọng lượng mới để xử lý đơn vị tiếp theo của dữ liệu đào tạo.

Tuy nhiên, trong bài báo trên, cách sử dụng không rõ ràng.

Đối với tôi có vẻ như họ đang sử dụng hàng loạt và học trực tuyến một cách chính xác. Trong phần 3, họ đang làm việc trên toàn bộ tập dữ liệu để thực hiện việc học, tức là học theo đợt, trong khi ở phần 4, họ chuyển sang gradient ngẫu nhiên theo sau có thể được sử dụng làm thuật toán học trực tuyến.

Tôi chưa bao giờ sử dụng gradient ngẫu nhiên theo thuật toán học trực tuyến; tuy nhiên, có thể chỉ cần dừng quá trình tối ưu hóa ở giữa quá trình học và nó vẫn là một mô hình hữu ích. Đối với các bộ dữ liệu rất lớn, điều này rất hữu ích vì bạn có thể đo lường sự hội tụ và bỏ học sớm. Bạn có thể sử dụng gradient ngẫu nhiên theo phương pháp học trực tuyến kể từ khi bạn cập nhật mô hình cho mỗi biểu dữ liệu mới, như tôi nghĩ chính bạn đã nói. Mặc dù, tôi sẽ cẩn thận khi gọi nó là "mỗi dữ liệu đào tạo." Dữ liệu đào tạo là một tập dữ liệu, không phải là dữ liệu, nhưng tôi nghĩ tôi đã hiểu bạn vì bạn đã nói " trên mỗi dữ liệu đào tạo".

Batch Versus Học trực tuyến

Các chế độ trực tuyến và hàng loạt hơi khác nhau, mặc dù cả hai sẽ hoạt động tốt cho các bề mặt hiệu suất parabol. Một điểm khác biệt chính là thuật toán bó giữ cho trọng số hệ thống không đổi trong khi tính toán lỗi liên quan đến từng mẫu trong đầu vào. Do phiên bản trực tuyến liên tục cập nhật các trọng số của nó, tính toán lỗi của nó (và do đó ước tính độ dốc) sử dụng các trọng số khác nhau cho mỗi mẫu đầu vào. Điều này có nghĩa là hai thuật toán truy cập các tập hợp điểm khác nhau trong quá trình thích ứng. Tuy nhiên, cả hai đều hội tụ đến mức tối thiểu như nhau.

Lưu ý rằng số lượng cập nhật trọng số của hai phương pháp cho cùng một số lượng bản trình bày dữ liệu là rất khác nhau. Phương thức trực tuyến (LMS) thực hiện cập nhật từng mẫu, trong khi lô thực hiện cập nhật từng epoch, nghĩa là

Cập nhật LMS = (cập nhật hàng loạt) x (# mẫu trong tập huấn luyện).

Thuật toán lô cũng hiệu quả hơn một chút về số lượng tính toán.

Nói ngắn gọn,

Trực tuyến: Học tập dựa trên từng mẫu khi nó được quan sát.

Batch: Học qua các nhóm patters. Hầu hết các thuật toán là hàng loạt.

Nguồn: http://machinelearningmastery.com/basic-con accept-in-camera-learning /