Đọc tệp nhị phân bằng python

Tôi thấy đặc biệt khó khăn khi đọc tệp nhị phân bằng Python. Bạn có thể giúp tôi một tay? Tôi cần đọc tệp này, tệp này trong Fortran 90 có thể dễ dàng đọc bằng

int*4 n_particles, n_groups
real*4 group_id(n_particles)
read (*) n_particles, n_groups
read (*) (group_id(j),j=1,n_particles)

Cụ thể, định dạng tệp là:

Bytes 1-4 -- The integer 8.
Bytes 5-8 -- The number of particles, N.
Bytes 9-12 -- The number of groups.
Bytes 13-16 -- The integer 8.
Bytes 17-20 -- The integer 4*N.
Next many bytes -- The group ID numbers for all the particles.
Last 4 bytes -- The integer 4*N. 

Làm cách nào tôi có thể đọc nội dung này bằng Python? Tôi đã thử mọi thứ nhưng nó không bao giờ hiệu quả. Có bất kỳ cơ hội nào tôi có thể sử dụng chương trình f90 trong python, đọc tệp nhị phân này và sau đó lưu dữ liệu mà tôi cần sử dụng không?

Đọc nội dung tệp nhị phân như sau:

with open(fileName, mode='rb') as file: # b is important -> binary
    fileContent = file.read()

sau đó "giải nén" dữ liệu nhị phân bằng struct.unpack :

Các byte bắt đầu: struct.unpack("iiiii", fileContent[:20])

Phần nội dung: bỏ qua byte đầu đề và byte cuối (= 24); Phần còn lại tạo thành phần thân, để biết số byte trong phần thân thực hiện phép chia số nguyên cho 4; Thương số thu được được nhân với chuỗi 'i'để tạo định dạng chính xác cho phương thức giải nén:

struct.unpack("i" * ((len(fileContent) -24) // 4), fileContent[20:-4])

Byte kết thúc: struct.unpack("i", fileContent[-4:])

Nói chung, tôi khuyên bạn nên xem xét sử dụng mô-đun struct của Python cho việc này. Nó tiêu chuẩn với Python và sẽ dễ dàng dịch đặc tả câu hỏi của bạn thành một chuỗi định dạng phù hợp struct.unpack().

Lưu ý rằng nếu có khoảng đệm "vô hình" giữa / xung quanh các trường, bạn sẽ cần phải tìm ra điều đó và đưa nó vào lệnh unpack()gọi, nếu không bạn sẽ đọc sai các bit.

Đọc nội dung của tệp để có thứ gì đó để giải nén là khá đơn giản:

import struct

data = open("from_fortran.bin", "rb").read()

(eight, N) = struct.unpack("@II", data)

Thao tác này giải nén hai trường đầu tiên, giả sử chúng bắt đầu ở phần đầu của tệp (không có phần đệm hoặc dữ liệu không liên quan) và cũng giả định thứ tự byte gốc ( @biểu tượng). Các Is trong chuỗi định dạng có nghĩa là "số nguyên không dấu, 32 bit".

Bạn có thể sử dụng numpy.fromfile, có thể đọc dữ liệu từ cả tệp văn bản và tệp nhị phân. Trước tiên, bạn sẽ xây dựng một kiểu dữ liệu, đại diện cho định dạng tệp của bạn, bằng cách sử dụng numpy.dtype, sau đó đọc kiểu này từ tệp bằng cách sử dụng numpy.fromfile.

Để đọc một tệp nhị phân cho một bytesđối tượng:

from pathlib import Path
data = Path('/path/to/file').read_bytes()  # Python 3.5+

Để tạo một inttừ byte 0-3 của dữ liệu:

i = int.from_bytes(data[:4], byteorder='little', signed=False)

Để giải nén nhiều ints từ dữ liệu:

import struct
ints = struct.unpack('iiii', data[:16])

• pathlib
• int.from_bytes()
• struct

Tôi cũng thấy thiếu Python khi đọc và ghi các tệp nhị phân, vì vậy tôi đã viết một mô-đun nhỏ (cho Python 3.6+).

Với tệp nhị phân, bạn sẽ làm như thế này (tôi đoán vậy, vì tôi không biết Fortran):

import binaryfile

def particle_file(f):
    f.array('group_ids')  # Declare group_ids to be an array (so we can use it in a loop)
    f.skip(4)  # Bytes 1-4
    num_particles = f.count('num_particles', 'group_ids', 4)  # Bytes 5-8
    f.int('num_groups', 4)  # Bytes 9-12
    f.skip(8)  # Bytes 13-20
    for i in range(num_particles):
        f.struct('group_ids', '>f')  # 4 bytes x num_particles
    f.skip(4)

with open('myfile.bin', 'rb') as fh:
    result = binaryfile.read(fh, particle_file)
print(result)

Cái nào tạo ra đầu ra như thế này:

{
    'group_ids': [(1.0,), (0.0,), (2.0,), (0.0,), (1.0,)],
    '__skipped': [b'\x00\x00\x00\x08', b'\x00\x00\x00\x08\x00\x00\x00\x14', b'\x00\x00\x00\x14'],
    'num_particles': 5,
    'num_groups': 3
}

Tôi đã sử dụng Bỏ qua () để bỏ qua dữ liệu bổ sung mà Fortran thêm vào, nhưng bạn có thể muốn thêm một tiện ích để xử lý các bản ghi Fortran đúng cách. Nếu bạn làm vậy, một yêu cầu kéo sẽ được hoan nghênh.

import pickle
f=open("filename.dat","rb")
try:
    while True:
        x=pickle.load(f)
        print x
except EOFError:
    pass
f.close()