Chắc chắn phải có một cách để làm điều này một cách dễ dàng!

Tôi đã thử các ứng dụng dòng lệnh Linux chẳng hạn như sha1sumvà md5sumnhưng chúng dường như chỉ có thể tính toán hàm băm của các tệp riêng lẻ và xuất ra danh sách các giá trị băm, một giá trị cho mỗi tệp.

Tôi cần tạo một hàm băm duy nhất cho toàn bộ nội dung của một thư mục (không chỉ tên tệp).

Tôi muốn làm một cái gì đó giống như

sha1sum /folder/of/stuff > singlehashvalue

Chỉnh sửa: để làm rõ, các tệp của tôi ở nhiều cấp trong một cây thư mục, chúng không nằm trong cùng một thư mục gốc.

Một cách khả thi sẽ là:

đường dẫn sha1sum / đến / thư mục / * | sha1sum

Nếu có toàn bộ cây thư mục, có lẽ bạn nên sử dụng find và xargs. Một lệnh khả thi sẽ là

tìm đường dẫn / đến / thư mục -type f -print0 | sắp xếp -z | xargs -0 sha1sum | sha1sum

Và, cuối cùng, nếu bạn cũng cần tính đến quyền và thư mục trống:

(find path/to/folder -type f -print0  | sort -z | xargs -0 sha1sum;
 find path/to/folder \( -type f -o -type d \) -print0 | sort -z | \
   xargs -0 stat -c '%n %a') \
| sha1sum

Các đối số của statsẽ làm cho nó in tên của tệp, theo sau là các quyền của nó. Hai lần tìm sẽ chạy lần lượt, gây ra gấp đôi số lượng IO của đĩa, lần đầu tiên tìm tất cả tên tệp và kiểm tra tổng nội dung, lần thứ hai tìm tất cả tên tệp và thư mục, tên in và chế độ. Sau đó, danh sách "tên tệp và tổng kiểm tra", tiếp theo là "tên và thư mục, có quyền" sau đó sẽ được tổng kiểm tra, cho một tổng kiểm tra nhỏ hơn.

• Sử dụng công cụ phát hiện xâm nhập hệ thống tệp như trợ lý .

• băm một quả bóng tar của thư mục:

  tar cvf - /path/to/folder | sha1sum

• Tự viết mã thứ gì đó, chẳng hạn như oneliner của vatine :

  find /path/to/folder -type f -print0 | sort -z | xargs -0 sha1sum | sha1sum

Bạn có thể làm tar -c /path/to/folder | sha1sum

Nếu bạn chỉ muốn kiểm tra xem có gì đó trong thư mục đã thay đổi hay không, tôi khuyên bạn nên làm như sau:

ls -alR --full-time /folder/of/stuff | sha1sum

Nó sẽ chỉ cung cấp cho bạn một hàm băm của đầu ra ls, chứa các thư mục, thư mục con, tệp của chúng, dấu thời gian, kích thước và quyền của chúng. Khá nhiều thứ mà bạn cần để xác định xem có điều gì đó đã thay đổi hay không.

Xin lưu ý rằng lệnh này sẽ không tạo hàm băm cho mỗi tệp, nhưng đó là lý do tại sao lệnh này sẽ nhanh hơn so với việc sử dụng find.

Một cách tiếp cận mạnh mẽ và sạch sẽ

• Điều đầu tiên trước tiên, đừng tích trữ bộ nhớ có sẵn ! Băm một tập tin thành nhiều phần thay vì cung cấp toàn bộ tập tin.
• Các cách tiếp cận khác nhau cho các nhu cầu / mục đích khác nhau (tất cả các cách dưới đây hoặc chọn những gì từng áp dụng):
  • Chỉ băm tên mục nhập của tất cả các mục nhập trong cây thư mục
  • Băm nội dung tệp của tất cả các mục nhập (để lại meta như, số inode, ctime, atime, mtime, size, v.v., bạn sẽ có ý tưởng)
  • Đối với một liên kết tượng trưng, ​​nội dung của nó là tên tham chiếu. Băm nó hoặc chọn bỏ qua
  • Theo dõi hoặc không theo dõi (tên đã phân giải) liên kết biểu tượng trong khi băm nội dung của mục nhập
  • Nếu đó là một thư mục, nội dung của nó chỉ là các mục nhập thư mục. Trong khi duyệt đệ quy, cuối cùng chúng sẽ được băm nhưng các tên mục nhập thư mục của cấp đó có nên được băm để gắn thẻ thư mục này không? Hữu ích trong các trường hợp sử dụng khi hàm băm được yêu cầu để xác định thay đổi một cách nhanh chóng mà không cần phải đi sâu để băm nội dung. Một ví dụ sẽ là tên tệp thay đổi nhưng phần còn lại của nội dung vẫn giữ nguyên và chúng đều là tệp khá lớn
  • Xử lý tốt các tệp lớn (một lần nữa, hãy lưu ý đến RAM)
  • Xử lý cây thư mục rất sâu (lưu ý đến các bộ mô tả tệp đang mở)
  • Xử lý tên tệp không chuẩn
  • Làm thế nào để tiếp tục với các tệp là ổ cắm, đường ống / FIFO, thiết bị khối, thiết bị char? Cũng phải băm chúng?
  • Không cập nhật thời gian truy cập của bất kỳ mục nhập nào khi đang duyệt vì đây sẽ là một tác dụng phụ và phản tác dụng (trực quan?) Đối với một số trường hợp sử dụng nhất định.

Đây là những gì tôi đặt ra trên đầu, bất kỳ ai đã dành thời gian làm việc trên thực tế này sẽ có thể nắm bắt được các vấn đề khác và các trường hợp góc.

Đây là một công cụ , rất nhẹ về bộ nhớ, giải quyết hầu hết các trường hợp, có thể hơi thô xung quanh các cạnh nhưng khá hữu ích.

Một ví dụ sử dụng và đầu ra của dtreetrawl.

Usage:
  dtreetrawl [OPTION...] "/trawl/me" [path2,...]

Help Options:
  -h, --help                Show help options

Application Options:
  -t, --terse               Produce a terse output; parsable.
  -j, --json                Output as JSON
  -d, --delim=:             Character or string delimiter/separator for terse output(default ':')
  -l, --max-level=N         Do not traverse tree beyond N level(s)
  --hash                    Enable hashing(default is MD5).
  -c, --checksum=md5        Valid hashing algorithms: md5, sha1, sha256, sha512.
  -R, --only-root-hash      Output only the root hash. Blank line if --hash is not set
  -N, --no-name-hash        Exclude path name while calculating the root checksum
  -F, --no-content-hash     Do not hash the contents of the file
  -s, --hash-symlink        Include symbolic links' referent name while calculating the root checksum
  -e, --hash-dirent         Include hash of directory entries while calculating root checksum

Một đoạn mã đầu ra thân thiện với con người:

...
... //clipped
...
/home/lab/linux-4.14-rc8/CREDITS
        Base name                    : CREDITS
        Level                        : 1
        Type                         : regular file
        Referent name                :
        File size                    : 98443 bytes
        I-node number                : 290850
        No. directory entries        : 0
        Permission (octal)           : 0644
        Link count                   : 1
        Ownership                    : UID=0, GID=0
        Preferred I/O block size     : 4096 bytes
        Blocks allocated             : 200
        Last status change           : Tue, 21 Nov 17 21:28:18 +0530
        Last file access             : Thu, 28 Dec 17 00:53:27 +0530
        Last file modification       : Tue, 21 Nov 17 21:28:18 +0530
        Hash                         : 9f0312d130016d103aa5fc9d16a2437e

Stats for /home/lab/linux-4.14-rc8:
        Elapsed time     : 1.305767 s
        Start time       : Sun, 07 Jan 18 03:42:39 +0530
        Root hash        : 434e93111ad6f9335bb4954bc8f4eca4
        Hash type        : md5
        Depth            : 8
        Total,
                size           : 66850916 bytes
                entries        : 12484
                directories    : 763
                regular files  : 11715
                symlinks       : 6
                block devices  : 0
                char devices   : 0
                sockets        : 0
                FIFOs/pipes    : 0

Nếu bạn chỉ muốn băm nội dung của tệp, bỏ qua tên tệp thì bạn có thể sử dụng

cat $FILES | md5sum

Đảm bảo rằng bạn có các tệp theo cùng một thứ tự khi tính toán băm:

cat $(echo $FILES | sort) | md5sum

Nhưng bạn không thể có thư mục trong danh sách tệp của mình.

Nếu đây là git repo và bạn muốn bỏ qua bất kỳ tệp nào trong đó .gitignore, bạn có thể muốn sử dụng cái này:

git ls-files <your_directory> | xargs sha256sum | cut -d" " -f1 | sha256sum | cut -d" " -f1

Điều này đang làm việc tốt cho tôi.

Có một tập lệnh python cho điều đó:

http://code.activestate.com/recipes/576973-getting-the-sha-1-or-md5-hash-of-a-directory/

Nếu bạn thay đổi tên của một tệp mà không thay đổi thứ tự bảng chữ cái của chúng, tập lệnh băm sẽ không phát hiện ra nó. Tuy nhiên, nếu bạn thay đổi thứ tự của các tệp hoặc nội dung của bất kỳ tệp nào, việc chạy tập lệnh sẽ cung cấp cho bạn một hàm băm khác với trước đây.

Một công cụ khác để đạt được điều này:

http://md5deep.sourceforge.net/

Như là âm thanh: giống như md5sum nhưng cũng đệ quy, cộng với các tính năng khác.

Hãy thử làm theo hai bước:

1. tạo một tệp với hàm băm cho tất cả các tệp trong một thư mục
2. băm tệp này

Như vậy:

# for FILE in `find /folder/of/stuff -type f | sort`; do sha1sum $FILE >> hashes; done
# sha1sum hashes

Hoặc làm tất cả cùng một lúc:

# cat `find /folder/of/stuff -type f | sort` | sha1sum

Tôi sẽ chuyển kết quả cho các tệp riêng lẻ qua sort(để ngăn chặn việc sắp xếp lại các tệp để thay đổi hàm băm) thành md5sumhoặc sha1sum, tùy theo bạn chọn.

Tôi đã viết một script Groovy để thực hiện việc này:

import java.security.MessageDigest

public static String generateDigest(File file, String digest, int paddedLength){
    MessageDigest md = MessageDigest.getInstance(digest)
    md.reset()
    def files = []
    def directories = []

    if(file.isDirectory()){
        file.eachFileRecurse(){sf ->
            if(sf.isFile()){
                files.add(sf)
            }
            else{
                directories.add(file.toURI().relativize(sf.toURI()).toString())
            }
        }
    }
    else if(file.isFile()){
        files.add(file)
    }

    files.sort({a, b -> return a.getAbsolutePath() <=> b.getAbsolutePath()})
    directories.sort()

    files.each(){f ->
        println file.toURI().relativize(f.toURI()).toString()
        f.withInputStream(){is ->
            byte[] buffer = new byte[8192]
            int read = 0
            while((read = is.read(buffer)) > 0){
                md.update(buffer, 0, read)
            }
        }
    }

    directories.each(){d ->
        println d
        md.update(d.getBytes())
    }

    byte[] digestBytes = md.digest()
    BigInteger bigInt = new BigInteger(1, digestBytes)
    return bigInt.toString(16).padLeft(paddedLength, '0')
}

println "\n${generateDigest(new File(args[0]), 'SHA-256', 64)}"

Bạn có thể tùy chỉnh cách sử dụng để tránh in từng tệp, thay đổi thông báo thư, lấy băm thư mục ra, v.v. Tôi đã thử nghiệm nó dựa trên dữ liệu thử nghiệm NIST và nó hoạt động như mong đợi. http://www.nsrl.nist.gov/testdata/

gary-macbook:Scripts garypaduana$ groovy dirHash.groovy /Users/garypaduana/.config
.DS_Store
configstore/bower-github.yml
configstore/insight-bower.json
configstore/update-notifier-bower.json
filezilla/filezilla.xml
filezilla/layout.xml
filezilla/lockfile
filezilla/queue.sqlite3
filezilla/recentservers.xml
filezilla/sitemanager.xml
gtk-2.0/gtkfilechooser.ini
a/
configstore/
filezilla/
gtk-2.0/
lftp/
menus/
menus/applications-merged/

79de5e583734ca40ff651a3d9a54d106b52e94f1f8c2cd7133ca3bbddc0c6758

Tôi đã phải kiểm tra toàn bộ thư mục để thay đổi tệp.

Nhưng với việc loại trừ, dấu thời gian, quyền sở hữu thư mục.

Mục tiêu là nhận được một tổng giống hệt nhau ở bất kỳ đâu, nếu các tệp giống hệt nhau.

Bao gồm được lưu trữ vào các máy khác, bất kể bất cứ thứ gì ngoại trừ các tệp hoặc thay đổi đối với chúng.

md5sum * | md5sum | cut -d' ' -f1

Nó tạo ra một danh sách các băm theo tệp, sau đó nối các băm đó thành một.

Đây là cách nhanh hơn so với phương pháp tar.

Để có sự riêng tư mạnh mẽ hơn trong hàm băm, chúng ta có thể sử dụng sha512sum trên cùng một công thức.

sha512sum * | sha512sum | cut -d' ' -f1

Các băm cũng giống nhau ở bất kỳ đâu sử dụng sha512sum nhưng không có cách nào được biết để đảo ngược nó.

Bạn có thể sha1sumtạo danh sách các giá trị băm và sau đó lập sha1sumlại danh sách đó, điều đó phụ thuộc vào chính xác những gì bạn muốn đạt được.

Đây là một biến thể đơn giản, ngắn gọn trong Python 3 hoạt động tốt với các tệp có kích thước nhỏ (ví dụ: cây nguồn hoặc thứ gì đó, trong đó mọi tệp riêng lẻ có thể vừa với RAM dễ dàng), bỏ qua các thư mục trống, dựa trên ý tưởng từ các giải pháp khác:

import os, hashlib

def hash_for_directory(path, hashfunc=hashlib.sha1):                                                                                            
    filenames = sorted(os.path.join(dp, fn) for dp, _, fns in os.walk(path) for fn in fns)         
    index = '\n'.join('{}={}'.format(os.path.relpath(fn, path), hashfunc(open(fn, 'rb').read()).hexdigest()) for fn in filenames)               
    return hashfunc(index.encode('utf-8')).hexdigest()                          

Nó hoạt động như thế này:

1. Tìm tất cả các tệp trong thư mục một cách đệ quy và sắp xếp chúng theo tên
2. Tính toán băm (mặc định: SHA-1) của mọi tệp (đọc toàn bộ tệp vào bộ nhớ)
3. Tạo chỉ mục dạng văn bản với các dòng "filename = hash"
4. Mã hóa chỉ mục đó trở lại thành chuỗi byte UTF-8 và băm

Bạn có thể chuyển một hàm băm khác làm tham số thứ hai nếu SHA-1 không phải là tách trà của bạn.