Cách khác biệt các tệp lớn trên Linux

Tôi đang gặp diff: memory exhaustedlỗi khi cố gắng tìm khác biệt hai tệp 27 GB tương tự như trên hộp Linux với CentOS 5 và 4 GB RAM. Đây là một vấn đề được biết đến, có vẻ như.

Tôi hy vọng sẽ có một sự thay thế cho một tiện ích thiết yếu như vậy, nhưng tôi không thể tìm thấy. Tôi tưởng tượng giải pháp sẽ phải sử dụng các tệp tạm thời thay vì bộ nhớ để lưu trữ thông tin cần thiết.

• Tôi đã thử sử dụng rdiffvà xdelta, nhưng chúng tốt hơn để hiển thị các thay đổi giữa hai tệp, như một bản vá và không hữu ích cho việc kiểm tra sự khác biệt giữa hai tệp.
• Đã thử VBinDiff , nhưng nó là một công cụ trực quan tốt hơn để so sánh các tệp nhị phân. Tôi cần một cái gì đó có thể chuyển sự khác biệt sang STDOUT như thường lệ diff.
• Có rất nhiều tiện ích khác như vimdiffchỉ hoạt động với các tệp nhỏ hơn.
• Tôi cũng đã đọc về Solaris bdiffnhưng tôi không thể tìm thấy cổng cho Linux.

Bất kỳ ý tưởng ngoài việc chia các tập tin thành các phần nhỏ hơn? Tôi có 40 trong số các tệp này vì vậy cố gắng tránh công việc phá vỡ chúng.

cmpthực hiện mọi thứ theo từng byte, do đó có thể nó sẽ hết bộ nhớ (chỉ kiểm tra nó trên hai tệp 7 GB) - nhưng bạn có thể đang tìm kiếm chi tiết hơn danh sách "các tệp X và Y khác nhau ở byte x , dòng y ". Nếu các điểm tương đồng của các tệp của bạn được bù đắp (ví dụ: tệp Y có một khối văn bản giống hệt nhau, nhưng không ở cùng một vị trí), bạn có thể chuyển offset sang cmp; bạn có thể có thể biến nó thành một so sánh đồng bộ hóa với một tập lệnh nhỏ.

Ngoài ra: Trong trường hợp bất kỳ ai khác hạ cánh ở đây khi tìm cách xác nhận rằng hai cấu trúc thư mục (chứa các tệp rất lớn) giống hệt nhau: diff --recursive --brief(hoặc diff -r -qngắn gọn, hoặc thậm chí có thể diff -rq) sẽ hoạt động và không hết bộ nhớ.

Tôi tìm thấy liên kết này

diff -H có thể giúp hoặc bạn có thể thử cài đặt cổng textproc / 2bsd-diff mà dường như không cố tải các tệp vào RAM, vì vậy nó có thể hoạt động trên các tệp lớn dễ dàng hơn.

Tôi không chắc nếu bạn đã thử hai tùy chọn đó hoặc nếu chúng có thể phù hợp với bạn. Chúc may mắn.

Nếu các tệp giống hệt nhau (cùng độ dài) ngoại trừ một vài giá trị byte, bạn có thể sử dụng tập lệnh như sau ( wlà số byte trên mỗi dòng thành hexdump, điều chỉnh theo chiều rộng hiển thị của bạn):

w=12;
while read -ru7 x && read -ru8 y;
do
  [ ".$x" = ".$y" ] || echo "$x | $y";
done 7< <(od -vw$w -tx1z FILE1) 8< <(od -vw$w -tx1z FILE2) > DIFF-FILE1-FILE2 &

less DIFF-FILE1-FILE2

Nó không nhanh lắm, nhưng làm được việc.