Cách grep hàng ngàn tệp trong một thư mục cho hàng trăm chuỗi trong một tệp

Tôi đang cố gắng soạn một greptuyên bố và nó đang giết chết tôi. Tôi cũng mệt mỏi vì nhận được arguments list too longlỗi. Tôi có một tập tin, hãy gọi nó subset.txt. Nó chứa hàng trăm dòng với các chuỗi cụ thể như MO43312948. Trong thư mục đối tượng của tôi, tôi có hàng ngàn tệp và tôi cần sao chép tất cả các tệp có chứa các chuỗi được liệt kê trong subset.txtthư mục khác.

Tôi đã cố gắng bắt đầu với điều này để chỉ trả lại các tập tin phù hợp từ thư mục đối tượng.

grep -F "$(subset.txt)" /objects/*

Tôi tiếp tục nhận được `bash: / bin / grep: Danh sách đối số quá dài``

Bạn có thể vượt qua một thư mục như một mục tiêu để grepcó -Rvà một tập tin của mô hình đầu vào với -f:

  -f FILE, --file=FILE
          Obtain patterns from FILE, one per line.  If this option is used
          multiple  times  or  is  combined with the -e (--regexp) option,
          search for all patterns given.  The  empty  file  contains  zero
          patterns, and therefore matches nothing.

   -R, --dereference-recursive
          Read all files under each directory,  recursively.   Follow  all
          symbolic links, unlike -r.

Vì vậy, bạn đang tìm kiếm:

grep -Ff subset.txt -r objects/

Bạn có thể lấy danh sách các tệp phù hợp với:

grep -Flf subset.txt -r objects/

Vì vậy, nếu danh sách cuối cùng của bạn không quá dài, bạn có thể thực hiện:

 mv $(grep -Flf subset.txt -r objects/) new_dir/

Nếu điều đó trả về một argument list too longlỗi, sử dụng:

grep -Flf subset.txt -r objects/ | xargs -I{} mv {} bar/

Và nếu tên tệp của bạn có thể chứa dấu cách hoặc các ký tự lạ khác, hãy sử dụng (giả sử GNU grep):

grep -FZlf subset.txt -r objects/ | xargs -0I{} mv {} bar/

Cuối cùng, nếu bạn muốn loại trừ các tệp nhị phân, hãy sử dụng:

grep -IFZlf subset.txt -r objects/ | xargs -0I{} mv {} bar/

sử dụng

grep -F -f subset.txt 

để nói với grep để đọc từ subset.txttập tin.

bạn có thể sử dụng find để đi bộ tập tin.

find . -type f -exec grep -F -f subset.txt {} \;

hoặc là

find . -type f -exec grep -F -f subset.txt {}  +

Nếu bạn muốn tăng tốc grep hơn nữa, bạn có thể đặt ngôn ngữ trong trình bao của mình trước khi chạy nó, tức là sử dụng "LC_ALL = c". Điều này sẽ được kế thừa thành grep và sẽ vô hiệu hóa xử lý Unicode khi không cần thiết và trong một số trường hợp có thể tăng tốc đáng kể grep. Một tài liệu blog tuyệt vời này có thể được tìm thấy tại http://www.inmotionhosting.com/support/website/ssh/speed-up-grep-searches-with-lc-all . Thủ thuật này cũng có thể tăng tốc độ bash shell script, không chỉ grep.