Cách nhanh nhất để biết hai tệp có cùng nội dung trong Unix / Linux không?

Tôi có một tập lệnh shell trong đó tôi cần kiểm tra xem hai tệp có chứa cùng một dữ liệu hay không. Tôi làm điều này cho rất nhiều tệp và trong kịch bản của tôi, difflệnh dường như là nút cổ chai hiệu năng.

Đây là dòng:

diff -q $dst $new > /dev/null

if ($status) then ...

Có thể có một cách nhanh hơn để so sánh các tập tin, có thể là một thuật toán tùy chỉnh thay vì mặc định diff?

Tôi tin rằng cmpsẽ dừng ở mức chênh lệch byte đầu tiên:

cmp --silent $old $new || echo "files are different"

Tôi thích @Alex Howansky đã sử dụng 'cmp --silent' cho việc này. Nhưng tôi cần cả phản ứng tích cực và tiêu cực nên tôi sử dụng:

cmp --silent file1 file2 && echo '### SUCCESS: Files Are Identical! ###' || echo '### WARNING: Files Are Different! ###'

Sau đó tôi có thể chạy cái này trong terminal hoặc với ssh để kiểm tra các tệp dựa trên một tệp không đổi.

Tại sao bạn không nhận được hàm băm của cả hai tệp?

Hãy thử tập lệnh này, gọi nó là script.sh và sau đó chạy nó như sau: script.sh file1.txt file2.txt

#!/bin/bash

file1=`md5 $1`
file2=`md5 $2`

if [ "$file1" = "$file2" ]
then
    echo "Files have the same content"
else
    echo "Files have NOT the same content"
fi

Bởi vì tôi hút và không có đủ điểm danh tiếng, tôi không thể thêm mẩu tin này vào như một bình luận.

Nhưng, nếu bạn định sử dụng cmplệnh (và không cần / muốn dài dòng), bạn có thể lấy trạng thái thoát. Trên cmptrang người đàn ông:

Nếu TẬP_TIN là '-' hoặc bị thiếu, hãy đọc đầu vào tiêu chuẩn. Trạng thái thoát là 0 nếu đầu vào giống nhau, 1 nếu khác, 2 nếu gặp sự cố.

Vì vậy, bạn có thể làm một cái gì đó như:

STATUS="$(cmp --silent $FILE1 $FILE2; echo $?)"  # "$?" gives exit status for each comparison

if [[$STATUS -ne 0]]; then  # if status isn't equal to 0, then execute code
    DO A COMMAND ON $FILE1
else
    DO SOMETHING ELSE
fi

Đối với các tệp không khác nhau, bất kỳ phương pháp nào cũng sẽ yêu cầu phải đọc cả hai tệp, ngay cả khi quá khứ đã đọc.

Không có cách thay thế. Vì vậy, việc tạo băm hoặc tổng kiểm tra tại một số thời điểm yêu cầu đọc toàn bộ tệp. Các tập tin lớn mất thời gian.

Truy xuất siêu dữ liệu tệp nhanh hơn nhiều so với đọc một tệp lớn.

Vì vậy, có siêu dữ liệu tệp nào bạn có thể sử dụng để thiết lập rằng các tệp khác nhau không? Kích thước tập tin ? hoặc thậm chí kết quả của lệnh tập tin chỉ đọc một phần nhỏ của tập tin?

Đoạn mã ví dụ kích thước tệp:

  ls -l $1 $2 | 
  awk 'NR==1{a=$5} NR==2{b=$5} 
       END{val=(a==b)?0 :1; exit( val) }'

[ $? -eq 0 ] && echo 'same' || echo 'different'  

Nếu các tệp có cùng kích thước thì bạn bị kẹt với toàn bộ tệp đọc.

Cũng thử sử dụng lệnh cksum:

chk1=`cksum <file1> | awk -F" " '{print $1}'`
chk2=`cksum <file2> | awk -F" " '{print $1}'`

if [ $chk1 -eq $chk2 ]
then
  echo "File is identical"
else
  echo "File is not identical"
fi

Lệnh cksum sẽ xuất ra số byte của một tệp. Xem 'người đàn ông cksum'.

Thực hiện một số thử nghiệm với Raspberry Pi 3B + (Tôi đang sử dụng hệ thống tệp lớp phủ và cần đồng bộ hóa định kỳ), tôi đã chạy một so sánh của riêng tôi cho diff -q và cmp -s; lưu ý rằng đây là nhật ký từ bên trong / dev / shm, vì vậy tốc độ truy cập đĩa không phải là vấn đề:

[root@mypi shm]# dd if=/dev/urandom of=test.file bs=1M count=100 ; time diff -q test.file test.copy && echo diff true || echo diff false ; time cmp -s test.file test.copy && echo cmp true || echo cmp false ; cp -a test.file test.copy ; time diff -q test.file test.copy && echo diff true || echo diff false; time cmp -s test.file test.copy && echo cmp true || echo cmp false
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 6.2564 s, 16.8 MB/s
Files test.file and test.copy differ

real    0m0.008s
user    0m0.008s
sys     0m0.000s
diff false

real    0m0.009s
user    0m0.007s
sys     0m0.001s
cmp false
cp: overwrite âtest.copyâ? y

real    0m0.966s
user    0m0.447s
sys     0m0.518s
diff true

real    0m0.785s
user    0m0.211s
sys     0m0.573s
cmp true
[root@mypi shm]# pico /root/rwbscripts/utils/squish.sh

Tôi đã chạy nó một vài lần. cmp -s luôn có thời gian ngắn hơn một chút trên hộp kiểm tra tôi đang sử dụng. Vì vậy, nếu bạn muốn sử dụng cmp -s để thực hiện mọi thứ giữa hai tệp ....

identical (){
  echo "$1" and "$2" are the same.
  echo This is a function, you can put whatever you want in here.
}
different () {
  echo "$1" and "$2" are different.
  echo This is a function, you can put whatever you want in here, too.
}
cmp -s "$FILEA" "$FILEB" && identical "$FILEA" "$FILEB" || different "$FILEA" "$FILEB"