Người ta có thể xây dựng các mô hình tuyến tính trên các khối dữ liệu của bộ dữ liệu không, nếu một người không thể xây dựng chúng trên toàn bộ tập dữ liệu?

Người ta có thể xây dựng các mô hình tuyến tính trên "khối" của tập dữ liệu không, nếu người ta không thể xây dựng chúng trên toàn bộ tập dữ liệu?

Đặc biệt, tôi vẫn còn hơn 88k biến (tính năng) và người ta không thể làm gì nhiều với chúng mà không có bộ nhớ lớn. Nhưng việc thực hiện các mô hình trên "các khối" có làm mất các tương tác xảy ra giữa các khối hoặc có một số kỹ thuật để "tổng hợp" các khối này không?

Nếu "biến" chỉ các ví dụ đào tạo:

Bạn có thể sử dụng Stochastic Gradient Descent (SGD) trong đó mỗi lần lặp sử dụng một ví dụ đào tạo.

Hoặc bạn có thể sử dụng Mini-Batch Gradient Descent trong đó mỗi lần lặp sử dụng một phân vùng của tập huấn luyện. SGD là Mini-Batch Gradient Descent trong đó kích thước phân vùng là một ví dụ đào tạo.

Nếu "biến" đề cập đến các tính năng:

Bạn nên sử dụng giảm kích thước để giảm số lượng tính năng của bạn. Chẳng hạn, bạn có thể sử dụng Phân tích thành phần chính (PCA) để giảm kích thước vectơ đặc trưng của mình trong khi vẫn duy trì phương sai cao. Điều này cũng sẽ giúp mô hình của bạn đào tạo nhanh hơn đáng kể.