Đây là dữ liệu đào tạo của tôi: 200.000 Ví dụ x 10.000 Tính năng. Vì vậy, ma trận dữ liệu đào tạo của tôi là - 200.000 x 10.000.
Tôi đã quản lý để lưu tệp này trong một tệp phẳng mà không gặp vấn đề về bộ nhớ bằng cách lưu từng bộ dữ liệu từng cái một (ví dụ này đến ví dụ khác) khi tôi tạo các tính năng cho mỗi ví dụ.
Nhưng, bây giờ khi tôi sử dụng Sữa , ánh sáng SVM hoặc bất kỳ Thuật toán học máy nào khác, mọi thứ đều cố gắng tải toàn bộ dữ liệu đào tạo vào bộ nhớ thay vì đào tạo từng cái một. Tuy nhiên tôi chỉ có 8 GB RAM, vì vậy tôi không thể tiến hành theo cách này.
Bạn có biết dù sao tôi cũng có thể huấn luyện thuật toán một tập dữ liệu theo một tập dữ liệu không? Tức là, bất cứ lúc nào tôi cũng có một bộ dữ liệu được tải vào bộ nhớ, trong khi đào tạo.