grep: bộ nhớ cạn kiệt

Tôi đã thực hiện một tìm kiếm rất đơn giản:

grep -R Milledgeville ~/Documents

Và sau một thời gian, lỗi này xuất hiện:

grep: memory exhausted

Làm thế nào tôi có thể tránh điều này?

Tôi có 10GB RAM trên hệ thống của mình và một vài ứng dụng đang chạy, vì vậy tôi thực sự ngạc nhiên khi một grep đơn giản hết bộ nhớ. ~/Documentslà khoảng 100 GB và chứa tất cả các loại tệp.

grep -RI có thể không có vấn đề này, nhưng tôi cũng muốn tìm kiếm trong các tệp nhị phân.

Hai vấn đề tiềm ẩn:

• grep -R(ngoại trừ GNU được sửa đổi grepđược tìm thấy trên OS / X 10.8 trở lên) tuân theo các liên kết tượng trưng, ​​vì vậy ngay cả khi chỉ có 100GB tệp ~/Documents, vẫn có thể có một liên kết tượng trưng /và cuối cùng bạn sẽ quét toàn bộ hệ thống tệp bao gồm các tệp như /dev/zero. Sử dụng grep -rvới GNU mới hơn grephoặc sử dụng cú pháp tiêu chuẩn:

  find ~/Documents -type f -exec grep Milledgeville /dev/null {} +
  

  (tuy nhiên lưu ý rằng trạng thái thoát sẽ không phản ánh thực tế là mẫu đó có khớp hay không).

• greptìm thấy các dòng phù hợp với mô hình. Vì vậy, nó phải tải một dòng tại một thời điểm trong bộ nhớ. GNU greptrái ngược với nhiều greptriển khai khác không có giới hạn về kích thước của các dòng nó đọc và hỗ trợ tìm kiếm trong các tệp nhị phân. Vì vậy, nếu bạn đã có một tệp có một dòng rất lớn (nghĩa là có hai ký tự dòng mới rất xa appart), lớn hơn bộ nhớ khả dụng, nó sẽ thất bại.

  Điều đó thường xảy ra với một tập tin thưa thớt. Bạn có thể sao chép nó bằng:

  truncate -s200G some-file
  grep foo some-file
  

  Đó là một khó khăn để làm việc xung quanh. Bạn có thể làm điều đó như (vẫn với GNU grep):

  find ~/Documents -type f -exec sh -c 'for i do
    tr -s "\0" "\n" < "$i" | grep --label="$i" -He "$0"
    done' Milledgeville {} +
  

  Điều đó chuyển đổi các chuỗi ký tự NUL thành một ký tự dòng mới trước khi đưa đầu vào vào grep. Điều đó sẽ bao gồm cho các trường hợp vấn đề là do các tệp thưa thớt.

  Bạn có thể tối ưu hóa nó bằng cách chỉ thực hiện đối với các tệp lớn:

  find ~/Documents -type f \( -size -100M -exec \
    grep -He Milledgeville {} + -o -exec sh -c 'for i do
    tr -s "\0" "\n" < "$i" | grep --label="$i" -He "$0"
    done' Milledgeville {} + \)
  

  Nếu các tệp không thưa thớt và bạn có phiên bản GNU greptrước đó 2.6, bạn có thể sử dụng --mmaptùy chọn này. Các dòng sẽ được ghép vào bộ nhớ trái ngược với sao chép ở đó, điều đó có nghĩa là hệ thống luôn có thể lấy lại bộ nhớ bằng cách phân trang các trang vào tệp. Tùy chọn đó đã bị xóa trong GNU grep2.6

tôi thường làm

find ~/Documents | xargs grep -ne 'expression'

Tôi đã thử một loạt các phương pháp, và thấy đây là cách nhanh nhất. Lưu ý rằng điều này không xử lý các tệp có khoảng trắng tên tệp rất tốt. Nếu bạn biết đây là trường hợp và có phiên bản GNU của grep, bạn có thể sử dụng:

find ~/Documents -print0 | xargs -0 grep -ne 'expression'

Nếu không bạn có thể sử dụng:

 find ~/Documents -exec grep -ne 'expression' "{}" \;

Mà sẽ execmột grep cho mỗi tập tin.

Tôi có thể nghĩ ra một vài cách để khắc phục điều này:

• Thay vì gre tất cả các tệp cùng một lúc, hãy thực hiện một tệp cùng một lúc. Thí dụ:

  find /Documents -type f -exec grep -H Milledgeville "{}" \;
  

• Nếu bạn chỉ cần biết tập tin nào chứa các từ, grep -lthay vào đó hãy làm . Vì grep sẽ dừng tìm kiếm sau lần truy cập đầu tiên, nên sẽ không phải tiếp tục đọc bất kỳ tệp lớn nào

• Nếu bạn cũng muốn văn bản thực tế, bạn có thể xâu chuỗi hai greps riêng biệt dọc theo:

  for file in $( grep -Rl Milledgeville /Documents ); do grep -H Milledgeville "$file"; done
  

Tôi đang gặt đĩa 6TB để tìm kiếm dữ liệu bị mất và bộ nhớ đã cạn kiệt. Điều này cũng sẽ làm việc cho các tập tin khác.

Giải pháp chúng tôi đã đưa ra là đọc đĩa theo từng khối bằng cách sử dụng dd và gunk các khối. Đây là mã (big-grep.sh):

#problem: grep gives "memory exhausted" error on 6TB disks
#solution: read it on parts
if [ -z $2 ] || ! [ -e $1 ]; then echo "$0 file string|less -S # greps in chunks"; exit; fi

FILE="$1"
MATCH="$2"

SIZE=`ls -l $1|cut -d\  -f5`
CHUNKSIZE=$(( 1024 * 1024 * 1 )) 
CHUNKS=100 # greps in (100 + 1) x 1MB = 101MB chunks
COUNT=$(( $SIZE / $CHUNKSIZE * CHUNKS ))

for I in `seq 0 $COUNT`; do
  dd bs=$CHUNKSIZE skip=$(($I*$CHUNKS)) count=$(( $CHUNKS+1)) if=$FILE status=none|grep -UF -a --context 6 "$MATCH"
done