Các lựa chọn thay thế cho hdf5

Tôi đã sử dụng HDF5 trong nhiều năm, nhưng khi kích thước của tập dữ liệu tăng lên, tôi bắt đầu gặp các vấn đề tương tự được liệt kê ở đây

http://cyrille.rossant.net/moving-away-hdf5/

Bạn có thể chỉ cho tôi một định dạng như HDF5 với - Hỗ trợ tốt cho ghi song song - Hỗ trợ truy cập chunk của ma trận lớn

Trường hợp sử dụng điển hình của tôi là ma trận nguyên 100k x 100k. Tôi muốn có nó như một tập tin toàn bộ từ góc độ logic, nhưng tôi cần phải viết nó từng đoạn với các nhân viên song song.

HDF5, trong một chừng mực nào đó, là một hệ thống tập tin riêng. Bằng cách giới thiệu B-Plants và bằng cách quản lý các khối, nó nhân đôi chức năng của một hệ thống tập tin. Khi bạn đang chạy mã của mình, có lẽ bạn đang chạy nó trên một hệ điều hành với hệ thống tệp đã được chứng minh và có thể mở rộng. Do đó, tôi khuyên bạn nên ghi dữ liệu thô số của bạn vào một tệp bằng cách sử dụng quyền truy cập tệp thô hoặc MPI-IO và ghi dữ liệu meta (endianess, kích thước, thuộc tính, v.v.) vào một tệp JSON hoặc XML riêng. Nếu bạn có nhiều bộ dữ liệu, bạn có thể sắp xếp chúng vào một thư mục hoặc một hệ thống phân cấp của các thư mục. Khi bạn muốn phân phối tập dữ liệu, bạn chỉ cần đóng gói thành tệp ZIP.

Nhược điểm duy nhất là bạn phải tự mình đối phó với Endianness , điều này không khó .

Để có cảm hứng về cách thực hiện điều này, hãy xem Dragly, et. al. "A. Cấu trúc thư mục thử nghiệm (Exdir): Một thay thế cho HDF5 mà không giới thiệu định dạng tệp mới". Thần kinh., 2018, 12 .