Băm tệp bằng Python

Tôi muốn python đọc tới EOF để tôi có thể nhận được hàm băm thích hợp, cho dù đó là sha1 hay md5. Xin vui lòng giúp đỡ. Đây là những gì tôi có cho đến nay:

import hashlib

inputFile = raw_input("Enter the name of the file:")
openedFile = open(inputFile)
readFile = openedFile.read()

md5Hash = hashlib.md5(readFile)
md5Hashed = md5Hash.hexdigest()

sha1Hash = hashlib.sha1(readFile)
sha1Hashed = sha1Hash.hexdigest()

print "File Name: %s" % inputFile
print "MD5: %r" % md5Hashed
print "SHA1: %r" % sha1Hashed

TL; DR sử dụng bộ đệm để không sử dụng hàng tấn bộ nhớ.

Tôi tin rằng chúng tôi đi đến điểm mấu chốt của vấn đề của bạn khi chúng tôi xem xét tác động của bộ nhớ khi làm việc với các tệp rất lớn . Chúng tôi không muốn cậu bé xấu này sử dụng 2 GB ram cho một tệp 2 gigabyte, vì vậy, như pasztorpisti đã chỉ ra, chúng tôi phải xử lý những tệp lớn hơn đó theo từng phần!

import sys
import hashlib

# BUF_SIZE is totally arbitrary, change for your app!
BUF_SIZE = 65536  # lets read stuff in 64kb chunks!

md5 = hashlib.md5()
sha1 = hashlib.sha1()

with open(sys.argv[1], 'rb') as f:
    while True:
        data = f.read(BUF_SIZE)
        if not data:
            break
        md5.update(data)
        sha1.update(data)

print("MD5: {0}".format(md5.hexdigest()))
print("SHA1: {0}".format(sha1.hexdigest()))

Những gì chúng tôi đã làm là chúng tôi đang cập nhật các mã băm của cậu bé xấu số này ở dạng khối 64kb khi chúng tôi thực hiện cùng với phương pháp cập nhật tiện dụng của hashlib . Bằng cách này, chúng tôi sử dụng ít bộ nhớ hơn rất nhiều so với 2gb mà nó sẽ mất để băm anh chàng cùng một lúc!

Bạn có thể kiểm tra điều này bằng:

$ mkfile 2g bigfile
$ python hashes.py bigfile
MD5: a981130cf2b7e09f4686dc273cf7187e
SHA1: 91d50642dd930e9542c39d36f0516d45f4e1af0d
$ md5 bigfile
MD5 (bigfile) = a981130cf2b7e09f4686dc273cf7187e
$ shasum bigfile
91d50642dd930e9542c39d36f0516d45f4e1af0d  bigfile

Hy vọng rằng sẽ giúp!

Ngoài ra, tất cả những điều này được nêu trong câu hỏi được liên kết ở phía bên tay phải: Nhận băm MD5 của các tệp lớn bằng Python

Phụ lục!

Nói chung khi viết python, nó giúp bạn có thói quen làm theo pep-8 . Ví dụ: trong các biến python thường được phân tách bằng dấu gạch dưới chứ không phải là camelCased. Nhưng đó chỉ là phong cách và không ai thực sự quan tâm đến những điều đó ngoại trừ những người phải đọc văn phong tồi tệ ... đó có thể là bạn đọc mã này nhiều năm nữa.

Để tính toán chính xác và hiệu quả giá trị băm của tệp (trong Python 3):

• Mở tệp ở chế độ nhị phân (tức là thêm 'b'vào mã tệp) để tránh các vấn đề về mã hóa ký tự và chuyển đổi cuối dòng.
• Đừng đọc toàn bộ tập tin vào bộ nhớ, vì điều đó rất lãng phí bộ nhớ. Thay vào đó, hãy đọc tuần tự từng khối và cập nhật mã băm cho từng khối.
• Loại bỏ bộ đệm kép, tức là không sử dụng IO có bộ đệm, vì chúng ta đã sử dụng kích thước khối tối ưu.
• Sử dụng readinto()để tránh xáo trộn bộ đệm.

Thí dụ:

import hashlib

def sha256sum(filename):
    h  = hashlib.sha256()
    b  = bytearray(128*1024)
    mv = memoryview(b)
    with open(filename, 'rb', buffering=0) as f:
        for n in iter(lambda : f.readinto(mv), 0):
            h.update(mv[:n])
    return h.hexdigest()

Tôi sẽ đề xuất đơn giản:

def get_digest(file_path):
    h = hashlib.sha256()

    with open(file_path, 'rb') as file:
        while True:
            # Reading is buffered, so we can read smaller chunks.
            chunk = file.read(h.block_size)
            if not chunk:
                break
            h.update(chunk)

    return h.hexdigest()

Tất cả các câu trả lời khác ở đây dường như phức tạp quá nhiều. Python đã lưu vào bộ đệm khi đọc (theo cách lý tưởng hoặc bạn định cấu hình bộ đệm đó nếu bạn có thêm thông tin về bộ nhớ cơ bản) và vì vậy tốt hơn nên đọc theo từng phần mà hàm băm tìm thấy lý tưởng để làm cho nó nhanh hơn hoặc ít nhất là ít tốn CPU hơn. tính toán hàm băm. Vì vậy, thay vì vô hiệu hóa bộ đệm và cố gắng tự mô phỏng nó, bạn sử dụng bộ đệm Python và kiểm soát những gì bạn nên kiểm soát: những gì người tiêu dùng dữ liệu của bạn thấy lý tưởng, kích thước khối băm.

Tôi đã lập trình một mô-đun có thể băm các tệp lớn bằng các thuật toán khác nhau.

pip3 install py_essentials

Sử dụng mô-đun như thế này:

from py_essentials import hashing as hs
hash = hs.fileChecksum("path/to/the/file.txt", "sha256")

Đây là một giải pháp Python 3, POSIX (không phải Windows!) Sử dụng mmapđể ánh xạ đối tượng vào bộ nhớ.

import hashlib
import mmap

def sha256sum(filename):
    h  = hashlib.sha256()
    with open(filename, 'rb') as f:
        with mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ) as mm:
            h.update(mm)
    return h.hexdigest()

import hashlib
user = input("Enter ")
h = hashlib.md5(user.encode())
h2 = h.hexdigest()
with open("encrypted.txt","w") as e:
    print(h2,file=e)


with open("encrypted.txt","r") as e:
    p = e.readline().strip()
    print(p)