Cách đọc từ bộ dữ liệu IO cao trong pytorch phát triển từ epoch sang epoch

Tôi sử dụng Tensorflow, nhưng tôi đang viết tài liệu cho người dùng thường sẽ thay đổi theo các khung học tập sâu .

Khi làm việc với các bộ dữ liệu không phù hợp với hệ thống tệp cục bộ (TB +), tôi lấy mẫu dữ liệu từ kho lưu trữ dữ liệu từ xa và ghi mẫu cục bộ sang tfrecordsđịnh dạng chuẩn Tensorflow .

Trong kỷ nguyên đào tạo đầu tiên tôi sẽ chỉ lấy mẫu một vài giá trị, do đó, một kỷ nguyên dữ liệu cục bộ là rất nhỏ, tôi huấn luyện về nó. Trong epoch 2, tôi kiểm tra lại những tập tin dữ liệu nào đã được tạo ra bởi các quy trình lấy mẫu của tôi (bây giờ nhiều hơn) và huấn luyện về tập hợp mở rộng của các tệp dữ liệu cục bộ cho kỷ nguyên tiếp theo. Lặp lại quá trình mỗi kỷ nguyên. Theo cách này, tôi xây dựng bộ đệm mẫu cục bộ và có thể đuổi các mẫu cũ hơn khi tôi lấp đầy bộ nhớ cục bộ. Bộ đệm mẫu cục bộ phát triển vào khoảng thời gian mô hình cần phương sai nhiều nhất (hướng tới phần sau của đào tạo).

Trong Python / Tensorflow, điều quan trọng là tôi không khử lưu lượng dữ liệu trong quy trình vòng lặp đào tạo Python vì Python GIL không thể hỗ trợ tốc độ truyền dữ liệu (300-600 MB / giây, dữ liệu không thể nén được về mặt khoa học) và do đó hiệu suất của GPU chịu đựng khi Python GIL không thể phục vụ vòng lặp đào tạo nhanh.

Việc viết các mẫu vào một tfrecordstệp từ các quy trình con (đa xử lý python) cho phép nguồn gốc của tenorflow thực hiện quá trình khử lưu huỳnh TFRecordsDatasetbên ngoài Python và do đó chúng tôi vượt qua các vấn đề GIL của Python và tôi có thể bão hòa GPU với tốc độ dữ liệu IO cao.

Tôi muốn biết làm thế nào tôi sẽ giải quyết vấn đề này ở Pytorch. Tôi đang viết về chiến lược lấy mẫu đang được sử dụng và muốn cung cấp các đề xuất cụ thể cho người dùng của cả Tensorflow và PyTorch, nhưng tôi không biết rõ về hệ sinh thái tiền xử lý PyTorch đủ để viết đủ chi tiết.

Lưu ý bên lề: giải pháp hoàn toàn dựa trên Python để hỗ trợ các tốc độ truyền dữ liệu này có thể có trong Python 3.8 với bộ nhớ chia sẻ và xử lý đa hệ thống V, nhưng tôi chưa thử vì hỗ trợ cho nó không đủ (sẽ sớm thôi ). Các giải pháp đa xử lý hiện tại không đủ vì chúng yêu cầu khử lưu huỳnh trong quy trình vòng lặp đào tạo và do đó khóa GIL trong quá trình khử lưu huỳnh ở tốc độ IO cao.

Trên thực tế, bạn có thể dễ dàng khử lưu lượng dữ liệu trong một quy trình con bằng cách sử dụng torch.utils.data.DataLoader. Bằng cách đặt num_workersđối số thành 1 hoặc giá trị lớn hơn, bạn có thể sinh ra các quy trình con với trình thông dịch python và GIL của riêng chúng.

loader = torch.utils.data.DataLoader(your_dataset, num_workers=n, **kwargs)
for epoch in range(epochs):
    for batch_idx, data in enumerate(loader):
         # loader in the main process does not claim GIL at this point

A Dataloaderyêu cầu a torch.utils.data.Datasetđể có được dữ liệu từ. Nó có thể không phải là một công việc tầm thường để thực hiện một lớp con thích hợp trong trường hợp của bạn. Trong trường hợp bạn cần tạo lại một Datasetthể hiện cho mỗi kỷ nguyên, bạn có thể làm một cái gì đó như thế này.

for epcoh in range(epochs):
    dset = get_new_dataset()
    loader = torch.utils.data.DataLoader(dset, num_workers=n, **kwargs)
    for batch_idx, data in enumerate(loader):
        # Do training

hoặc thậm chí tốt hơn

dset = get_new_dataset()
loader = torch.utils.data.DataLoader(dset, num_workers=n, **kwargs)

for epcoh in range(epochs):
    last_batch_idx =  (len(dset)-1) // loader.batch_size
    for batch_idx, data in enumerate(loader):
        # Prepare next loader in advance to avoid blocking
        if batch_idx == last_batch_idx:
            dset = get_new_dataset()
            loader = torch.utils.data.DataLoader(dset, num_workers=n, **kwargs)
        # Do training

Một lưu ý phụ, xin lưu ý rằng hoạt động bị ràng buộc bởi CPU bị ảnh hưởng bởi GIL trong hầu hết các trường hợp, chứ không phải hoạt động ràng buộc I / O, nghĩa là threadingsẽ thực hiện cho mọi hoạt động nặng nề của I / O và bạn thậm chí không cần subprocess. Để biết thêm thông tin xin vui lòng tham khảo câu hỏi này và bài viết trên wikipedia này .