Tạo tổng kiểm MD5 của tệp

Có cách nào đơn giản để tạo (và kiểm tra) tổng kiểm MD5 của danh sách các tệp trong Python không? (Tôi có một chương trình nhỏ mà tôi đang làm việc và tôi muốn xác nhận tổng kiểm tra của các tệp).

Bạn có thể sử dụng hashlib.md5 ()

Lưu ý rằng đôi khi bạn sẽ không thể vừa toàn bộ tệp trong bộ nhớ. Trong trường hợp đó, bạn sẽ phải đọc các chuỗi 4096 byte theo tuần tự và đưa chúng vào md5phương thức:

import hashlib
def md5(fname):
    hash_md5 = hashlib.md5()
    with open(fname, "rb") as f:
        for chunk in iter(lambda: f.read(4096), b""):
            hash_md5.update(chunk)
    return hash_md5.hexdigest()

Lưu ý: hash_md5.hexdigest() sẽ trả về biểu diễn chuỗi hex cho thông báo, nếu bạn chỉ cần sử dụng byte được đóng gói return hash_md5.digest(), vì vậy bạn không phải chuyển đổi lại.

Có một cách mà bộ nhớ khá kém hiệu quả .

tập tin duy nhất:

import hashlib
def file_as_bytes(file):
    with file:
        return file.read()

print hashlib.md5(file_as_bytes(open(full_path, 'rb'))).hexdigest()

danh sách các tập tin:

[(fname, hashlib.md5(file_as_bytes(open(fname, 'rb'))).digest()) for fname in fnamelst]

Mặc dù vậy, hãy nhớ lại rằng MD5 đã bị hỏng và không nên được sử dụng cho bất kỳ mục đích nào vì phân tích lỗ hổng có thể rất khó khăn và việc phân tích bất kỳ việc sử dụng nào có thể xảy ra trong tương lai mà mã của bạn có thể được đưa ra cho các vấn đề bảo mật là không thể. IMHO, nó nên được gỡ bỏ khỏi thư viện để mọi người sử dụng nó buộc phải cập nhật. Vì vậy, đây là những gì bạn nên làm thay thế:

[(fname, hashlib.sha256(file_as_bytes(open(fname, 'rb'))).digest()) for fname in fnamelst]

Nếu bạn chỉ muốn tiêu hóa 128 bit, bạn có thể làm .digest()[:16].

Điều này sẽ cung cấp cho bạn một danh sách các bộ dữ liệu, mỗi bộ chứa tên của tệp và hàm băm của nó.

Một lần nữa tôi mạnh mẽ đặt câu hỏi về việc bạn sử dụng MD5. Bạn ít nhất nên sử dụng SHA1, và đưa ra các lỗ hổng gần đây được phát hiện trong SHA1 , thậm chí có thể không phải như vậy. Một số người nghĩ rằng miễn là bạn không sử dụng MD5 cho mục đích 'mật mã', bạn vẫn ổn. Nhưng công cụ có xu hướng kết thúc phạm vi rộng hơn bạn mong đợi ban đầu, và phân tích lỗ hổng thông thường của bạn có thể chứng minh hoàn toàn thiếu sót. Tốt nhất là hãy tập thói quen sử dụng thuật toán phù hợp ngoài cổng. Chỉ cần gõ một loạt các chữ cái khác nhau là được. Nó không khó lắm đâu.

Đây là một cách phức tạp hơn, nhưng hiệu quả bộ nhớ :

import hashlib

def hash_bytestr_iter(bytesiter, hasher, ashexstr=False):
    for block in bytesiter:
        hasher.update(block)
    return hasher.hexdigest() if ashexstr else hasher.digest()

def file_as_blockiter(afile, blocksize=65536):
    with afile:
        block = afile.read(blocksize)
        while len(block) > 0:
            yield block
            block = afile.read(blocksize)


[(fname, hash_bytestr_iter(file_as_blockiter(open(fname, 'rb')), hashlib.md5()))
    for fname in fnamelst]

Và, một lần nữa, vì MD5 bị hỏng và không thực sự được sử dụng nữa:

[(fname, hash_bytestr_iter(file_as_blockiter(open(fname, 'rb')), hashlib.sha256()))
    for fname in fnamelst]

Một lần nữa, bạn có thể đặt [:16]sau cuộc gọi đến hash_bytestr_iter(...)nếu bạn chỉ muốn tiêu hóa 128 bit.

Tôi rõ ràng không thêm bất cứ điều gì mới về cơ bản, nhưng đã thêm câu trả lời này trước khi tôi nhận được trạng thái bình luận, cộng với các vùng mã làm cho mọi thứ rõ ràng hơn - dù sao, cụ thể là trả lời câu hỏi của @ Nemo từ câu trả lời của Omnifarious:

Tôi tình cờ nghĩ về tổng kiểm tra một chút (cụ thể là đến đây để tìm gợi ý về kích thước khối, và đã thấy rằng phương pháp này có thể nhanh hơn bạn mong đợi. Lấy nhanh nhất (nhưng khá điển hình) timeit.timeithoặc /usr/bin/timekết quả từ mỗi một số phương pháp kiểm tra một tệp xấp xỉ. 11 MB:

$ ./sum_methods.py
crc32_mmap(filename) 0.0241742134094
crc32_read(filename) 0.0219960212708
subprocess.check_output(['cksum', filename]) 0.0553209781647
md5sum_mmap(filename) 0.0286180973053
md5sum_read(filename) 0.0311000347137
subprocess.check_output(['md5sum', filename]) 0.0332629680634
$ time md5sum /tmp/test.data.300k
d3fe3d5d4c2460b5daacc30c6efbc77f  /tmp/test.data.300k

real    0m0.043s
user    0m0.032s
sys     0m0.010s
$ stat -c '%s' /tmp/test.data.300k
11890400

Vì vậy, có vẻ như cả Python và / usr / bin / md5sum mất khoảng 30ms cho một tệp 11MB. Hàm liên quan md5sum( md5sum_readtrong danh sách trên) khá giống với Omnifarious:

import hashlib
def md5sum(filename, blocksize=65536):
    hash = hashlib.md5()
    with open(filename, "rb") as f:
        for block in iter(lambda: f.read(blocksize), b""):
            hash.update(block)
    return hash.hexdigest()

Cấp, đây là từ các lần chạy đơn lẻ ( mmapnhững lần chạy luôn nhanh hơn khi có ít nhất vài chục lần chạy) và tôi thường có thêm một lần nữa f.read(blocksize)sau khi bộ đệm bị cạn kiệt, nhưng nó có thể lặp lại một cách hợp lý và cho thấy rằng md5sumtrên dòng lệnh là không nhất thiết phải nhanh hơn triển khai Python ...

EDIT: Xin lỗi vì sự chậm trễ lâu, đã không xem xét điều này trong một thời gian, nhưng để trả lời câu hỏi của @ EdRandall, tôi sẽ viết ra một triển khai Adler32. Tuy nhiên, tôi đã không chạy các tiêu chuẩn cho nó. Về cơ bản, nó giống như CRC32: thay vì các cuộc gọi init, cập nhật và tiêu hóa, mọi thứ đều là một zlib.adler32()cuộc gọi:

import zlib
def adler32sum(filename, blocksize=65536):
    checksum = zlib.adler32("")
    with open(filename, "rb") as f:
        for block in iter(lambda: f.read(blocksize), b""):
            checksum = zlib.adler32(block, checksum)
    return checksum & 0xffffffff

Lưu ý rằng điều này phải bắt đầu bằng chuỗi rỗng, vì tổng Adler thực sự khác nhau khi bắt đầu từ số 0 so với tổng của chúng "", đó là 1- CRC có thể bắt đầu bằng 0thay thế. Việc AND-ing là cần thiết để biến nó thành một số nguyên không dấu 32 bit, đảm bảo nó trả về cùng một giá trị trên các phiên bản Python.

Trong Python 3.8+ bạn có thể làm

import hashlib
with open("your_filename.txt", "rb") as f:
    file_hash = hashlib.md5()
    while chunk := f.read(8192):
        file_hash.update(chunk)

print(file_hash.digest())
print(file_hash.hexdigest())  # to get a printable str instead of bytes

Cân nhắc sử dụng hashlib.blake2bthay vì md5(chỉ thay thế md5bằng blake2btrong đoạn trích trên). Nó bảo mật bằng mật mã và nhanh hơn MD5.

hashlib.md5(pathlib.Path('path/to/file').read_bytes()).hexdigest()

Tôi nghĩ rằng việc dựa vào gói invoke và md5sum binary sẽ thuận tiện hơn một chút so với gói con hoặc gói md5

import invoke

def get_file_hash(path):

    return invoke.Context().run("md5sum {}".format(path), hide=True).stdout.split(" ")[0]

Điều này tất nhiên giả sử bạn đã gọi và cài đặt md5sum.