Làm thế nào để so sánh các phần của tập tin bằng hàm băm?

Tôi có một tệp được tải xuống thành công và một tệp tải xuống không thành công (chỉ 100 MB đầu tiên của một tệp lớn) mà tôi nghi ngờ là cùng một tệp.

Để xác minh điều này, tôi muốn kiểm tra giá trị băm của họ, nhưng vì tôi chỉ có một phần của tệp được tải xuống không thành công, tôi chỉ muốn băm vài megabyte đầu tiên hoặc lâu hơn.

Làm thế nào để tôi làm điều này?

Hệ điều hành sẽ là windows, nhưng tôi đã cài đặt Cygwin và MinGW.

Tạo băm để so sánh các tệp có ý nghĩa nếu bạn so sánh một tệp với nhiều tệp hoặc khi so sánh nhiều tệp với nhau.

Sẽ không có ý nghĩa khi chỉ so sánh hai tệp một lần: Nỗ lực tính toán các giá trị băm ít nhất là cao bằng cách đi qua các tệp và so sánh trực tiếp chúng.

Một công cụ so sánh tập tin hiệu quả là cmp:

cmp --bytes $((100 * 1024 * 1024)) file1 file2 && echo "File fragments are identical"

Bạn cũng có thể kết hợp nó với dd để so sánh các phần tùy ý (không nhất thiết phải từ đầu) của hai tệp, ví dụ:

cmp \
    <(dd if=file1 bs=100M count=1 skip=1 2>/dev/null) \
    <(dd if=file2 bs=100M count=1 skip=1 2>/dev/null) \
&& echo "File fragments are identical"

Tôi xin lỗi tôi không thể chính xác thử điều đó, nhưng cách này sẽ hiệu quả

dd if=yourfile.zip of=first100mb1.dat bs=100M count=1
dd if=yourotherfile.zip of=first100mb2.dat bs=100M count=1

Điều này sẽ giúp bạn có 100 Megabyte đầu tiên của cả hai tệp.

Bây giờ có được băm:

sha256sum first100mb1.dat && sha256sum first100mb2.dat 

Bạn cũng có thể chạy nó trực tiếp:

dd if=yourfile.zip bs=100M count=1 | sha256sum 
dd if=yourotherfile.zip bs=100M count=1 | sha256sum 

Mọi người dường như đi theo con đường Unix / Linux với điều này, nhưng chỉ cần so sánh 2 tệp có thể dễ dàng thực hiện với các lệnh chuẩn của Windows:
FC /B file file2

FC có mặt trên mọi phiên bản Windows NT từng được tạo ra. Và (nếu tôi nhớ chính xác) cũng đã có mặt trong DOS.
Nó hơi chậm, nhưng điều đó không quan trọng đối với việc sử dụng một lần.

Bạn chỉ có thể so sánh trực tiếp các tệp với chương trình khác biệt nhị phân / hex như vbindiff. Nó nhanh chóng so sánh các tệp lên tới 4GB trên Linux & amp; Các cửa sổ.

Trông giống như thế này, chỉ với sự khác biệt được tô sáng bằng màu đỏ (1B so với 1C):

one                                       
0000 0000: 30 5C 72 A7 1B 6D FB FC  08 00 00 00 00 00 00 00  0\r..m.. ........  
0000 0010: 00 00 00 00                                       ....
0000 0020:
0000 0030:
0000 0040:
0000 0050:
0000 0060:
0000 0070:
0000 0080: 
0000 0090: 
0000 00A0: 

two        
0000 0000: 30 5C 72 A7 1C 6D FB FC  08 00 00 00 00 00 00 00  0\r..m.. ........  
0000 0010: 00 00 00 00                                       ....               
0000 0020: 
0000 0030:
0000 0040:
0000 0050:
0000 0060:
0000 0070:
0000 0080:
0000 0090:                                
0000 00A0:             
┌──────────────────────────────────────────────────────────────────────────────┐
│Arrow keys move  F find      RET next difference  ESC quit  T move top        │
│C ASCII/EBCDIC   E edit file   G goto position      Q quit  B move bottom     │
└──────────────────────────────────────────────────────────────────────────────┘ 

Tôi biết nó nói cho Bash, nhưng OP cũng nói rằng họ có Windows. Đối với bất kỳ ai muốn / yêu cầu giải pháp Windows, có một chương trình có tên HxD là Trình chỉnh sửa Hex có thể so sánh hai tệp. Nếu các tệp có kích thước khác nhau, nó sẽ cho biết các phần có sẵn có giống nhau không. Và nếu cần, nó có khả năng chạy tổng kiểm tra cho bất cứ điều gì hiện đang được chọn. Nó miễn phí và có thể được tải xuống từ: trang web HxD . Tôi không có bất kỳ kết nối nào với (các) tác giả, tôi đã sử dụng nó trong nhiều năm.

cmp sẽ cho bạn biết khi hai tệp giống hệt nhau với chiều dài của tệp nhỏ hơn:

$ dd if=/dev/random bs=8192 count=8192 > a
8192+0 records in
8192+0 records out
67108864 bytes transferred in 0.514571 secs (130417197 bytes/sec)
$ cp a b
$ dd if=/dev/random bs=8192 count=8192 >> b 
8192+0 records in
8192+0 records out
67108864 bytes transferred in 0.512228 secs (131013601 bytes/sec)
$ cmp a b
cmp: EOF on a

cmp đang nói với bạn rằng so sánh đã gặp EOF trên tệp a trước khi phát hiện ra bất kỳ sự khác biệt nào giữa hai tệp.