List Danh sách đối số quá dài 'trong khi sao chép một số lượng lớn tệp

Tôi đang sử dụng lệnh sau:

\cp -uf /home/ftpuser1/public_html/ftparea/*.jpg /home/ftpuser2/public_html/ftparea/

Và tôi đang nhận được lỗi:

-bash: /bin/cp: Argument list too long

Tôi cũng đã thử:

ls /home/ftpuser1/public_html/ftparea/*.jpg | xargs -I {} cp -uf {} /home/ftpuser2/public_html/ftparea/

Vẫn có -bash: / bin / ls: Danh sách đối số quá dài

Có ý kiến ​​gì không?

* .jpg mở rộng thành một danh sách dài hơn trình bao có thể xử lý. Hãy thử điều này thay thế

find  /home/ftpuser/public_html/ftparea/ -name "*.jpg" -exec cp -uf "{}" /your/destination \;

Có một giới hạn tối đa về thời gian một danh sách đối số có thể dành cho các lệnh hệ thống - giới hạn này là dành riêng cho phân phối dựa trên giá trị MAX_ARG_PAGESkhi kernel được biên dịch và không thể thay đổi mà không biên dịch lại kernel.

Do cách xử lý toàn cầu hóa bởi trình bao, điều này sẽ ảnh hưởng đến hầu hết các lệnh hệ thống khi bạn sử dụng cùng một đối số ("* .jpg"). Vì toàn cầu được xử lý bởi shell trước, sau đó được gửi đến lệnh, nên lệnh:

cp -uf *.jpg /targetdir/

về cơ bản là giống với vỏ như thể bạn đã viết:

cp -uf 1.jpg 2.jpg ... n-1.jpg n.jpg /targetdir/

Nếu bạn đang xử lý nhiều jpeg, điều này có thể trở nên khó kiểm soát rất nhanh. Tùy thuộc vào quy ước đặt tên của bạn và số lượng tệp bạn thực sự phải xử lý, bạn có thể chạy lệnh cp trên một tập hợp con khác nhau của thư mục tại một thời điểm:

cp -uf /sourcedir/[a-m]*.jpg /targetdir/
cp -uf /sourcedir/[n-z]*.jpg /targetdir/

Điều này có thể hoạt động, nhưng chính xác hiệu quả của nó sẽ dựa trên mức độ bạn có thể chia danh sách tệp của mình thành các khối có thể kết nối thuận tiện.

Toàn cầu Tôi thích từ đó.

Một số lệnh, chẳng hạn như find và xargs , có thể xử lý danh sách tệp lớn mà không tạo danh sách đối số có kích thước lớn.

find /sourcedir/ -name '*.jpg' -exec cp -uf {} /targetdir/ \;

Đối số -exec sẽ chạy phần còn lại của dòng lệnh một lần cho mỗi tệp được tìm thấy bằng cách tìm , thay thế {} bằng mỗi tên tệp được tìm thấy. Vì lệnh cp chỉ được chạy trên một tệp tại một thời điểm, giới hạn danh sách đối số không phải là vấn đề.

Điều này có thể chậm do phải xử lý từng tệp riêng lẻ. Sử dụng xargs có thể cung cấp một giải pháp hiệu quả hơn:

find /sourcedir/ -name '*.jpg' -print0 | xargs -0 cp -uf -t /destdir/

xargs có thể lấy danh sách tệp đầy đủ do find cung cấp và chia nó thành các danh sách đối số có kích thước có thể quản lý và chạy cp trên mỗi danh sách con đó.

Tất nhiên, cũng có khả năng chỉ biên dịch lại kernel của bạn, đặt giá trị lớn hơn cho MAX_ARG_PAGES. Nhưng biên dịch lại kernel là công việc nhiều hơn tôi sẵn sàng giải thích trong câu trả lời này.

Điều đó xảy ra vì biểu thức ký tự đại diện ( *.jpg) của bạn vượt quá giới hạn độ dài đối số dòng lệnh khi được mở rộng (có thể do bạn có nhiều tệp .jpg bên dưới /home/ftpuser/public_html/ftparea).

Có một số cách để vượt qua giới hạn đó, như sử dụng findhoặc xargs. Hãy xem bài viết này để biết thêm chi tiết về cách làm điều đó.

Như GoldPseudo đã nhận xét, có giới hạn về số lượng đối số bạn có thể vượt qua cho một quá trình bạn sinh ra. Xem câu trả lời của anh ấy cho một mô tả tốt về tham số đó.

Bạn có thể tránh vấn đề bằng cách không vượt qua quá trình quá nhiều đối số hoặc bằng cách giảm số lượng đối số bạn đang truyền.

Một vòng lặp for trong shell, find và ls, grep và một vòng lặp while đều làm điều tương tự trong tình huống này -

for file in /path/to/directory/*.jpg ; 
do
  rm "$file"
done

và

find /path/to/directory/ -name '*.jpg' -exec rm  {} \;

và

ls /path/to/directory/ | 
  grep "\.jpg$" | 
  while
    read file
  do
    rm "$file"
  done

tất cả đều có một chương trình đọc thư mục (chính shell, find và ls) và một chương trình khác thực sự lấy một đối số cho mỗi lần thực hiện và lặp qua toàn bộ danh sách các lệnh.

Bây giờ, điều này sẽ chậm vì rm cần được rẽ nhánh và được thực thi cho mỗi tệp khớp với mẫu * .jpg.

Đây là nơi xargs phát huy tác dụng. xargs lấy đầu vào tiêu chuẩn và với mỗi N (đối với freebsd, theo mặc định là 5000), nó sinh ra một chương trình với N đối số. xargs là tối ưu hóa các vòng lặp ở trên vì bạn chỉ cần rẽ nhánh các chương trình 1 / N để lặp lại toàn bộ tập tin đọc các đối số từ dòng lệnh.

Có một số lượng đối số tối đa có thể được chỉ định cho một chương trình, bash mở rộng * .jpg thành rất nhiều đối số cho cp. Bạn có thể giải quyết nó bằng cách sử dụng find, xargs hoặc rsync, v.v.

Có một cái nhìn ở đây về xargs và tìm

/programming/143171/how-can-i-use-xargs-to-copy-files-that-have-spaces-and-quotes-in-their-names

Toàn cầu '*' đang mở rộng thành quá nhiều tên tệp. Thay vào đó, hãy sử dụng find / home / ftpuser / public_html -name '* .jpg'.

Sử dụng +tùy chọn để find -exectăng tốc độ hoạt động rất nhiều.

find  /home/ftpuser/public_html/ftparea/ -name "*jpg" -exec cp -uf -t /your/destination "{}" +

Các +tùy chọn đòi hỏi {}phải tranh luận cuối cùng để sử dụng -t /your/destination(hoặc --target-directory=/your/destination) tùy chọn để cplàm cho nó hoạt động.

Từ man find:

lệnh -exec {} +

          This  variant  of the -exec action runs the specified command on  
          the selected files, but the command line is built  by  appending  
          each  selected file name at the end; the total number of invoca‐  
          tions of the command will  be  much  less  than  the  number  of  
          matched  files.   The command line is built in much the same way  
          that xargs builds its command lines.  Only one instance of  ‘{}’  
          is  allowed  within the command.  The command is executed in the  
          starting directory.

Chỉnh sửa : sắp xếp lại các đối số để cp

Có vẻ như bạn có quá nhiều *.jpgtệp trong thư mục đó để đặt tất cả chúng vào dòng lệnh cùng một lúc. Bạn có thể thử:

find /home/ftpuser/public_html/ftparea1 -name '*.jpg' | xargs -I {} cp -uf {} /home/ftpuser/public_html/ftparea2/

Bạn có thể cần kiểm tra man xargsviệc triển khai của mình để xem liệu công -Itắc có đúng với hệ thống của bạn không.

Trên thực tế, bạn có thực sự có ý định sao chép các tệp đó vào cùng một vị trí mà chúng đã ở không?

Chuyển đến thư mục

cd /home/ftpuser1/public_html/

và thực hiện như sau:

cp -R ftparea/ /home/ftpuser2/public_html/

Theo cách này nếu thư mục 'ftparea' có các thư mục con, đây có thể là một hiệu ứng tiêu cực nếu bạn chỉ muốn các tệp '* .jpg' từ nó, nhưng nếu không có bất kỳ thư mục con nào, cách tiếp cận này chắc chắn sẽ nhanh hơn nhiều sử dụng find và xargs