tìm | xargs shasum tạo ra tổng kiểm tra của tập tin tổng kiểm tra (sớm) và thất bại khi kiểm tra

Vấn đề của tôi (trong một tập lệnh với #!/bin/sh) là như sau: Tôi cố kiểm tra tất cả các tệp trong một thư mục cho mục đích lưu trữ. Tệp tổng kiểm tra (trong trường hợp của tôi là sha1) với tất cả tên tệp sẽ nằm trong cùng một thư mục. Hãy nói rằng chúng tôi có một thư mục ~/testvới các tập tin f1và f2:.

mkdir ~/test
cd ~/test
echo "hello" > f1
echo "world" > f2

Bây giờ tính toán tổng kiểm với

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum

thực hiện chính xác những gì tôi muốn, nó chỉ liệt kê tất cả các tệp của thư mục hiện tại và tính toán tổng sha1 (maxdepth có thể được thay đổi sau). Đầu ra trên STDOUT là:

f572d396fae9206628714fb2ce00f72e94f2258f  f1
9591818c07e900db7e1e0bc4b884c945e6a61b24  f2

Thật không may, khi cố lưu nó vào một tệp với

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum > sums.sha1

tệp kết quả sẽ hiển thị tổng kiểm tra cho chính nó:

da39a3ee5e6b4b0d3255bfef95601890afd80709  sums.sha1
f572d396fae9206628714fb2ce00f72e94f2258f  f1
9591818c07e900db7e1e0bc4b884c945e6a61b24  f2  

và do đó thất bại sau đó shasum --check, vì vấn đề rõ ràng về sửa đổi tệp bổ sung khi lưu số tiền cuối cùng.

Tôi nhìn xung quanh và bằng cách sử dụng -pcờ cho xargs, tôi phát hiện ra rằng bằng cách nào đó nó tạo ra tệp đầu ra trước khi thực hiện lệnh find, do đó tệp bổ sung được tìm thấy và sẽ được kiểm tra lại ...

Tôi biết rằng như một cách giải quyết, tôi có thể lưu tổng kiểm tra vào một vị trí khác (thư mục tạm thời thông qua mktemp) hoặc loại trừ nó một cách cụ thể, nhưng tôi muốn hiểu tại sao nó hoạt động theo cách của nó - điều này trong mắt tôi không hữu ích, ví dụ: nếu lệnh đầu tiên sẽ kiểm tra xem tệp đầu ra đã có trên đĩa chưa, nó sẽ không bao giờ có câu trả lời đúng ...

Bạn có thể ngăn không cho tập tin tiếp cận xargsbằng cách sử dụng:

find . -maxdepth 1 -type f ! -name sums.sha1 -printf '%P\n' |
  xargs -r shasum -- > sums.sha1

Để ngăn chặn sự cố với tên tệp có khoảng trống hoặc dòng mới hoặc dấu ngoặc kép hoặc dấu gạch chéo ngược, tuy nhiên tôi sẽ sử dụng:

find . -maxdepth 1 -type f ! -name sums.sha1 -printf '%P\0' |
  xargs -r0 shasum -- > sums.sha1

thay thế.

Các --là để tránh các vấn đề với tên tập tin bắt đầu bằng -. Tuy nhiên nó sẽ không giúp cho một tập tin được gọi là -. Nếu bạn đã sử dụng -print0thay vì -printf '%P\0', bạn sẽ không cần --và sẽ không gặp vấn đề với -tập tin.

Vì bạn đang sử dụng -maxdepth 1, tôi cho rằng bạn không muốn đệ quy. Nếu vậy, chỉ cần làm nó trong vỏ thay thế:

for f in ~/test/*; do
    shasum -- "$f"
done > sums.sha1

Để bỏ qua các thư mục, bạn có thể làm:

for f in ~/test/*; do
    [ ! -d "$f" ] && shasum -- "$f"
done > sums.sha1

Nếu bạn cần đệ quy và đang sử dụng bash, hãy làm:

shopt -s globstar
for f in ~/test/**; do
    [ ! -d "$f" ] && shasum -- "$f"
done > sums.sha1

Lưu ý rằng tất cả các cách tiếp cận này có lợi ích khi làm việc trên các tên tệp tùy ý, bao gồm cả các tên có dấu cách, dòng mới hoặc bất cứ thứ gì khác.

với zsh:

shasum -- *(D.) > sums.sha1

Toàn cầu sẽ được mở rộng trước khi chuyển hướng được thực hiện, do đó sums.sha1sẽ không được bao gồm nếu nó không ở đó ngay từ đầu.

Dlà bao gồm các tệp chấm (tệp ẩn) như mong findmuốn. .là chỉ chọn các tệp thông thường (như của bạn -type f).

Để loại trừ sums.sha1dù sao đi nữa trong trường hợp nó đã ở đó ngay từ đầu:

setopt extendedglob # best in ~/.zshrc
shasum -- ^sums.sha1(D.) > sums.sha1

Lưu ý rằng những người chạy một lệnh shasum, vì vậy cuối cùng bạn có thể thấy lỗi "Danh sách đối số quá dài" nếu danh sách quá lớn. Để làm việc xung quanh đó:

autoload zargs
zargs -e/ -- *(D.) / shasum > sums.sha1

Tôi khuyên bạn nên sử dụng ./*thay vì *để tránh các vấn đề tiềm ẩn với một tệp được gọi -.

Như các câu trả lời khác đã nêu vấn đề là shell mở và tạo sums.sha1tệp, trước khi thực hiện đường ống dẫn của bạn. Bạn có thể sử dụng chương trình spongelà một phần của moreutilsgói nhiều bản phân phối. Ngược lại với chuyển hướng shell spongesẽ đợi cho đến khi nhận được mọi thứ, trước khi mở tệp. Nó thường được sử dụng khi bạn muốn viết một tệp bạn đọc trong cùng một đường ống.

Trong trường hợp của bạn, nó được sử dụng như thế này:

$ find -maxdepth 1 -type f -printf '%P\n' |xargs shasum |sponge sums.sha1
$ cat sums.sha1
31836aeaab22dc49555a97edb4c753881432e01d  B
7d157d7c000ae27db146575c08ce30df893d3a64  A

Là một thay thế cho find / xargs, v.v. bạn có thể muốn sha1deep. Có lẽ nó nằm trong một gói khác - trên hộp của tôi, nó có trong gói md5deep.

Như những người khác đã nói sums.sha1 được tạo bởi shell ngay cả trước khi bắt đầu tìm thấy. Một thủ thuật với ! -name sums.sha1tới findsẽ làm việc, như ý

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum | grep -v ' sums\.sha1$' > sums.sha1