Đầu vào và đầu ra mảng numpy sang h5py

Tôi có một mã Python có đầu ra là một ma trận có kích thước, có các mục nhập đều thuộc loại float. Nếu tôi lưu nó với phần mở rộng .dat, kích thước tệp là 500 MB. Tôi đọc rằng việc sử dụng h5pylàm giảm kích thước tệp đáng kể. Vì vậy, giả sử tôi có tên mảng 2D numpy A. Làm cách nào để lưu nó vào tệp h5py? Ngoài ra, làm cách nào để đọc cùng một tệp và đặt nó dưới dạng một mảng numpy trong một mã khác, vì tôi cần thực hiện các thao tác với mảng?

h5py cung cấp một mô hình tập dữ liệu và nhóm . Cái trước về cơ bản là các mảng và cái sau bạn có thể coi là thư mục. Mỗi cái được đặt tên. Bạn nên xem tài liệu về API và các ví dụ:

http://docs.h5py.org/en/latest/quick.html

Một ví dụ đơn giản trong đó bạn đang tạo tất cả dữ liệu từ trước và chỉ muốn lưu nó vào tệp hdf5 sẽ trông giống như sau:

In [1]: import numpy as np
In [2]: import h5py
In [3]: a = np.random.random(size=(100,20))
In [4]: h5f = h5py.File('data.h5', 'w')
In [5]: h5f.create_dataset('dataset_1', data=a)
Out[5]: <HDF5 dataset "dataset_1": shape (100, 20), type "<f8">

In [6]: h5f.close()

Sau đó, bạn có thể tải lại dữ liệu đó bằng cách sử dụng: '

In [10]: h5f = h5py.File('data.h5','r')
In [11]: b = h5f['dataset_1'][:]
In [12]: h5f.close()

In [13]: np.allclose(a,b)
Out[13]: True

Chắc chắn hãy kiểm tra các tài liệu:

http://docs.h5py.org

Việc ghi vào tệp hdf5 phụ thuộc vào h5py hoặc pytables (mỗi loại có một API python khác nhau nằm trên đầu thông số kỹ thuật tệp hdf5). Bạn cũng nên xem xét các định dạng nhị phân đơn giản khác do numpy cung cấp, chẳng hạn như np.save, np.savezv.v.:

http://docs.scipy.org/doc/numpy/reference/routines.io.html

Một cách tốt hơn để xử lý việc mở / đóng tệp và tránh rò rỉ bộ nhớ:

Chuẩn bị:

import numpy as np
import h5py

data_to_write = np.random.random(size=(100,20)) # or some such

Viết:

with h5py.File('name-of-file.h5', 'w') as hf:
    hf.create_dataset("name-of-dataset",  data=data_to_write)

Đọc:

with h5py.File('name-of-file.h5', 'r') as hf:
    data = hf['name-of-dataset'][:]