Danh sách đối số lỗi quá dài cho các lệnh rm, cp, mv

Tôi có hàng trăm tệp PDF trong một thư mục trong UNIX. Tên của các tệp PDF thực sự dài (khoảng 60 ký tự).

Khi tôi cố gắng xóa tất cả các tệp PDF cùng nhau bằng lệnh sau:

rm -f *.pdf

Tôi nhận được lỗi sau đây:

/bin/rm: cannot execute [Argument list too long]

Giải pháp cho lỗi này là gì? Có lỗi này xảy ra cho mvvà cpcác lệnh là tốt? Nếu có, làm thế nào để giải quyết cho các lệnh này?

Lý do điều này xảy ra là vì bash thực sự mở rộng dấu hoa thị cho mọi tệp phù hợp, tạo ra một dòng lệnh rất dài.

Thử cái này:

find . -name "*.pdf" -print0 | xargs -0 rm

Cảnh báo: đây là một tìm kiếm đệ quy và cũng sẽ tìm thấy (và xóa) các tệp trong thư mục con. Tack trên -fcho lệnh rm chỉ khi bạn chắc chắn không muốn xác nhận.

Bạn có thể làm như sau để làm cho lệnh không đệ quy:

find . -maxdepth 1 -name "*.pdf" -print0 | xargs -0 rm

Một tùy chọn khác là sử dụng -deletecờ của find :

find . -name "*.pdf" -delete

tl; dr

Đó là một giới hạn hạt nhân về kích thước của đối số dòng lệnh. Sử dụng một forvòng lặp thay thế.

Nguồn gốc của vấn đề

Đây là một vấn đề hệ thống, liên quan đến execvevà ARG_MAXliên tục. Có rất nhiều tài liệu về điều đó (xem người đàn ông hành quyết , wiki của debian ).

Về cơ bản, việc mở rộng tạo ra một lệnh (với các tham số của nó) vượt quá ARG_MAXgiới hạn. Trên kernel 2.6.23, giới hạn đã được đặt ở 128 kB. Hằng số này đã được tăng lên và bạn có thể nhận được giá trị của nó bằng cách thực hiện:

getconf ARG_MAX
# 2097152 # on 3.5.0-40-generic

Giải pháp: Sử dụng forLoop

Sử dụng forvòng lặp như được khuyến nghị trên BashFAQ / 095 và không có giới hạn ngoại trừ dung lượng RAM / bộ nhớ:

Chạy khô để xác định nó sẽ xóa những gì bạn mong đợi:

for f in *.pdf; do echo rm "$f"; done

Và thực hiện nó:

for f in *.pdf; do rm "$f"; done

Ngoài ra, đây là một cách tiếp cận di động vì toàn cầu có hành vi mạnh mẽ và nhất quán giữa các hệ vỏ ( một phần của thông số POSIX ).

Lưu ý: Như đã lưu ý bởi một số ý kiến, điều này thực sự chậm hơn nhưng có thể duy trì nhiều hơn vì nó có thể điều chỉnh các kịch bản phức tạp hơn, ví dụ như người ta muốn làm nhiều hơn chỉ một hành động.

Giải pháp: Sử dụng find

Nếu bạn khăng khăng, bạn có thể sử dụng findnhưng thực sự không sử dụng xargs vì nó "nguy hiểm (bị hỏng, có thể khai thác, v.v.) khi đọc đầu vào không phân cách bằng NUL" :

find . -maxdepth 1 -name '*.pdf' -delete 

Sử dụng -maxdepth 1 ... -deletethay vì -exec rm {} +cho phép findthực hiện đơn giản các cuộc gọi hệ thống cần thiết mà không cần sử dụng quy trình bên ngoài, do đó nhanh hơn (nhờ nhận xét @chepner ).

Người giới thiệu

• Tôi nhận được "Danh sách đối số quá dài". Làm thế nào tôi có thể xử lý một danh sách lớn trong khối? @ lenedge
• execve (2) - Trang người dùng Linux (tìm kiếm ARG_MAX);
• Lỗi: Danh sách đối số quá dài @ wiki của wiki;
• Tại sao tôi nhận được danh sách / bin / sh: Danh sách đối số quá dài khi chuyển các đối số được trích dẫn? @ Siêu người dùng

findcó một -deletehành động:

find . -maxdepth 1 -name '*.pdf' -delete

Một câu trả lời khác là buộc xargsphải xử lý các lệnh theo lô. Ví dụ với deletecác tệp 100tại một thời điểm, cdvào thư mục và chạy này:

echo *.pdf | xargs -n 100 rm

Hoặc bạn có thể thử:

find . -name '*.pdf' -exec rm -f {} \;

Nếu bạn đang cố gắng xóa một số lượng rất lớn các tệp cùng một lúc (tôi đã xóa một thư mục có hơn 485.000 ngày hôm nay), có thể bạn sẽ gặp phải lỗi này:

/bin/rm: Argument list too long.

Vấn đề là khi bạn gõ một cái gì đó như rm -rf *, *nó được thay thế bằng một danh sách của tất cả các tệp phù hợp, như, rm -rf file1 file2 file3 file4 file4, v.v. Có một bộ nhớ tương đối nhỏ được phân bổ để lưu trữ danh sách các đối số này và nếu nó được lấp đầy, shell sẽ không thực thi chương trình.

Để giải quyết vấn đề này, rất nhiều người sẽ sử dụng lệnh find để tìm mọi tập tin và chuyển từng cái một cho lệnh của r r rách như thế này:

find . -type f -exec rm -v {} \;

Vấn đề của tôi là tôi cần xóa 500.000 tệp và nó đã diễn ra quá lâu.

Tôi tình cờ phát hiện ra một cách nhanh hơn để xóa các tập tin - lệnh của Google tìm kiếm có một lá cờ -delete nghén được xây dựng ngay trong! Đây là những gì tôi đã kết thúc bằng cách sử dụng:

find . -type f -delete

Sử dụng phương pháp này, tôi đã xóa các tệp với tốc độ khoảng 2000 tệp / giây - nhanh hơn nhiều!

Bạn cũng có thể hiển thị tên tệp khi bạn xóa chúng:

find . -type f -print -delete

Hoặc thậm chí hiển thị bao nhiêu tệp sẽ bị xóa, sau đó mất bao lâu để xóa chúng:

root@devel# ls -1 | wc -l && time find . -type f -delete
100000
real    0m3.660s
user    0m0.036s
sys     0m0.552s

bạn có thể thử điều này:

for f in *.pdf
do
  rm $f
done

EDIT: Nhận xét của ThiefMaster đề nghị tôi không tiết lộ thông lệ nguy hiểm như vậy với jedis của vỏ trẻ, vì vậy tôi sẽ thêm phiên bản "an toàn hơn" (vì mục đích bảo quản mọi thứ khi ai đó có tệp "-rf. ..Pdf")

echo "# Whooooo" > /tmp/dummy.sh
for f in '*.pdf'
do
   echo "rm -i $f" >> /tmp/dummy.sh
done

Sau khi chạy ở trên, chỉ cần mở tệp /tmp/dummy.sh trong fav của bạn. biên tập viên và kiểm tra từng dòng cho tên tệp nguy hiểm, nhận xét chúng nếu tìm thấy.

Sau đó sao chép tập lệnh dummy.sh trong thư mục làm việc của bạn và chạy nó.

Tất cả điều này vì lý do bảo mật.

Bạn có thể sử dụng một mảng bash:

files=(*.pdf)
for((I=0;I<${#files[@]};I+=1000)); do
    rm -f "${files[@]:I:1000}"
done

Bằng cách này, nó sẽ xóa theo lô 1000 tệp mỗi bước.

bạn có thể sử dụng lời khen này

find -name "*.pdf"  -delete

Lệnh rm có giới hạn các tệp mà bạn có thể loại bỏ đồng thời.

Một khả năng bạn có thể loại bỏ chúng bằng cách sử dụng nhiều lần lệnh rm dựa trên các mẫu tệp của bạn, như:

rm -f A*.pdf
rm -f B*.pdf
rm -f C*.pdf
...
rm -f *.pdf

Bạn cũng có thể loại bỏ chúng thông qua lệnh find :

find . -name "*.pdf" -exec rm {} \;

Nếu chúng là tên tệp có dấu cách hoặc ký tự đặc biệt, hãy sử dụng:

find -maxdepth 1 -name '*.pdf' -exec rm "{}" \;

Câu này tìm kiếm tất cả các tệp trong thư mục hiện tại (-maxdepth 1) với phần mở rộng pdf (-name '* .pdf'), và sau đó, xóa từng tệp (-exec rm "{}").

Biểu thức {} thay thế tên của tệp và "{}" đặt tên tệp là chuỗi, bao gồm khoảng trắng hoặc ký tự đặc biệt.

tôi đã phải đối mặt với cùng một vấn đề trong khi sao chép thư mục nguồn mẫu đến đích

thư mục nguồn có tập tin ~ 3 lakcs

tôi đã sử dụng cp với tùy chọn -r và nó hiệu quả với tôi

cp -r abc / def /

nó sẽ sao chép tất cả các tệp từ abc sang def mà không đưa ra cảnh báo về danh sách Đối số quá lâu

Cũng thử làm điều này Nếu bạn muốn xóa các tệp / thư mục 30/90 ngày (+) hoặc dưới 30/90 (-) ngày thì bạn có thể sử dụng các lệnh ex bên dưới

Ví dụ: Trong 90 ngày loại trừ ở trên sau khi xóa 90 ngày tệp / thư mục, có nghĩa là 91,92 .... 100 ngày

find <path> -type f -mtime +90 -exec rm -rf {} \;

Ví dụ: Chỉ với các tệp 30 ngày gần nhất mà bạn muốn xóa, sau đó sử dụng lệnh bên dưới (-)

find <path> -type f -mtime -30 -exec rm -rf {} \;

Nếu bạn muốn giz các tệp trong hơn 2 ngày tệp

find <path> -type f -mtime +2 -exec gzip {} \;

Nếu bạn chỉ muốn xem các tập tin / thư mục từ một tháng qua. Ví dụ:

find <path> -type f -mtime -30 -exec ls -lrt {} \;

Trên 30 ngày chỉ sau đó liệt kê các tệp / thư mục Ex:

find <path> -type f -mtime +30 -exec ls -lrt {} \;

find /opt/app/logs -type f -mtime +30 -exec ls -lrt {} \;

Tôi ngạc nhiên không có ulimitcâu trả lời ở đây. Mỗi khi tôi gặp vấn đề này, tôi kết thúc ở đây hoặc ở đây . Tôi hiểu giải pháp này có những hạn chế nhưng ulimit -s 65536dường như thường làm thủ thuật cho tôi.

Tôi gặp vấn đề tương tự với một thư mục chứa đầy hình ảnh tạm thời đang phát triển từng ngày và lệnh này đã giúp tôi xóa thư mục

find . -name "*.png" -mtime +50 -exec rm {} \;

Sự khác biệt với các lệnh khác là tham số mtime sẽ chỉ mất các tệp cũ hơn X ngày (trong ví dụ 50 ngày)

Sử dụng nhiều lần, giảm trên mỗi lần thực hiện phạm vi ngày, tôi có thể xóa tất cả các tệp không cần thiết

Tôi chỉ biết một cách xung quanh này. Ý tưởng là xuất danh sách các tệp pdf mà bạn có thành một tệp. Sau đó chia tập tin đó thành nhiều phần. Sau đó loại bỏ các tập tin pdf được liệt kê trong mỗi phần.

ls | grep .pdf > list.txt
wc -l list.txt

wc -l là để đếm có bao nhiêu dòng list.txt chứa. Khi bạn có ý tưởng về thời gian là bao lâu, bạn có thể quyết định chia nó thành một nửa, một hoặc một cái gì đó. Sử dụng lệnh split -l Ví dụ: chia nó thành 600 dòng mỗi dòng.

split -l 600 list.txt

điều này sẽ tạo ra một vài tập tin có tên xaa, xab, xac, v.v. tùy thuộc vào cách bạn chia nó. Bây giờ để "nhập" từng danh sách trong các tệp đó vào lệnh rm, hãy sử dụng:

rm $(<xaa)
rm $(<xab)
rm $(<xac)

Xin lỗi vì tiếng Anh của tôi không tốt.

Tôi đã gặp vấn đề này một vài lần. Nhiều giải pháp sẽ chạy rmlệnh cho từng tệp riêng lẻ cần xóa. Điều này rất không hiệu quả:

find . -name "*.pdf" -print0 | xargs -0 rm -rf

Cuối cùng tôi đã viết một kịch bản python để xóa các tệp dựa trên 4 ký tự đầu tiên trong tên tệp:

import os
filedir = '/tmp/' #The directory you wish to run rm on 
filelist = (os.listdir(filedir)) #gets listing of all files in the specified dir
newlist = [] #Makes a blank list named newlist
for i in filelist: 
    if str((i)[:4]) not in newlist: #This makes sure that the elements are unique for newlist
        newlist.append((i)[:4]) #This takes only the first 4 charcters of the folder/filename and appends it to newlist
for i in newlist:
    if 'tmp' in i:  #If statment to look for tmp in the filename/dirname
        print ('Running command rm -rf '+str(filedir)+str(i)+'* : File Count: '+str(len(os.listdir(filedir)))) #Prints the command to be run and a total file count
        os.system('rm -rf '+str(filedir)+str(i)+'*') #Actual shell command
print ('DONE')

Điều này làm việc rất tốt cho tôi. Tôi đã có thể xóa hơn 2 triệu tệp tạm thời trong một thư mục trong khoảng 15 phút. Tôi đã nhận xét tar ra khỏi một chút mã để bất kỳ ai có kiến ​​thức tối thiểu đến trăn có thể thao túng mã này.

Và một số khác:

cd  /path/to/pdf
printf "%s\0" *.[Pp][Dd][Ff] | xargs -0 rm

printflà một vỏ được tích hợp sẵn, và theo như tôi biết thì nó luôn như vậy. Bây giờ được cho rằng đó printfkhông phải là lệnh shell (mà là nội dung), nó không phải chịu argument list too long ..."lỗi nghiêm trọng".

Vì vậy, chúng ta có thể sử dụng nó một cách an toàn với các mẫu toàn cầu shell *.[Pp][Dd][Ff], sau đó chúng ta chuyển đầu ra của nó để loại bỏ rmlệnh ( ) xargs, để đảm bảo nó phù hợp với đủ tên tệp trong dòng lệnh để không bị lỗi rmlệnh, đó là shell chỉ huy.

Các \0trong printfđóng vai trò như một tách null cho tên tập tin Mà sau đó được xử lý bởi xargslệnh, sử dụng nó ( -0) như là một dấu phân cách, vì vậy rmkhông thất bại khi có không gian màu trắng hoặc ký tự đặc biệt khác trong tên tập tin.

Bạn có thể tạo thư mục tạm thời, di chuyển tất cả các tệp và thư mục con bạn muốn giữ vào thư mục tạm thời sau đó xóa thư mục cũ và đổi tên thư mục tạm thời sang thư mục cũ thử ví dụ này cho đến khi bạn tự tin thực hiện trực tiếp:

mkdir testit
cd testit
mkdir big_folder tmp_folder
touch big_folder/file1.pdf
touch big_folder/file2.pdf
mv big_folder/file1,pdf tmp_folder/
rm -r big_folder
mv tmp_folder big_folder

những rm -r big_foldersẽ loại bỏ tất cả các file trong big_folderdù có bao nhiêu. Bạn phải cực kỳ cẩn thận, trước tiên bạn có tất cả các tệp / thư mục bạn muốn giữ, trong trường hợp này làfile1.pdf

Để xóa tất cả *.pdftrong một thư mục/path/to/dir_with_pdf_files/

mkdir empty_dir        # Create temp empty dir

rsync -avh --delete --include '*.pdf' empty_dir/ /path/to/dir_with_pdf_files/

Để xóa các tệp cụ thể thông qua rsyncsử dụng ký tự đại diện có lẽ là giải pháp nhanh nhất trong trường hợp bạn có hàng triệu tệp. Và nó sẽ xử lý lỗi bạn nhận được.

(Bước tùy chọn): CHẠY KHÔ. Để kiểm tra những gì sẽ bị xóa mà không cần xóa. `

rsync -avhn --delete --include '*.pdf' empty_dir/ /path/to/dir_with_pdf_files/

. . .

Nhấp vào mẹo và thủ thuật rsync để biết thêm hack rsync

Tôi thấy rằng đối với các danh sách tệp cực lớn (> 1e6), những câu trả lời này quá chậm. Đây là một giải pháp sử dụng xử lý song song trong python. Tôi biết, tôi biết, đây không phải là linux ... nhưng không có gì khác ở đây hoạt động.

(Điều này giúp tôi tiết kiệm hàng giờ)

# delete files
import os as os
import glob
import multiprocessing as mp

directory = r'your/directory'
os.chdir(directory)


files_names = [i for i in glob.glob('*.{}'.format('pdf'))]

# report errors from pool

def callback_error(result):
    print('error', result)

# delete file using system command
def delete_files(file_name):
     os.system('rm -rf ' + file_name)

pool = mp.Pool(12)  
# or use pool = mp.Pool(mp.cpu_count())


if __name__ == '__main__':
    for file_name in files_names:
        print(file_name)
        pool.apply_async(delete_files,[file_name], error_callback=callback_error)

Tôi đã phải đối mặt với một vấn đề tương tự khi có hàng triệu tệp nhật ký vô dụng được tạo bởi một ứng dụng chứa đầy tất cả các nút. Tôi đã dùng đến "định vị", đưa tất cả các tệp "nằm" vào một tệp văn bản và sau đó loại bỏ từng tệp một. Mất một lúc nhưng đã làm được việc!

Phiên bản an toàn hơn một chút so với sử dụng xargs, cũng không đệ quy: ls -p | grep -v '/$' | grep '\.pdf$' | while read file; do rm "$file"; done

Lọc các thư mục của chúng tôi ở đây là một chút không cần thiết vì dù sao 'rm' sẽ không xóa nó và nó có thể được gỡ bỏ để đơn giản, nhưng tại sao chạy một cái gì đó chắc chắn sẽ trả về lỗi?

Sử dụng GNUallel ( sudo apt install parallel) là siêu dễ dàng

Nó chạy các lệnh đa luồng trong đó '{}' là đối số được truyền

Ví dụ

ls /tmp/myfiles* | parallel 'rm {}'

Để xóa 100 tệp đầu tiên:

rm -rf 'ls | đầu -100 '

Các tùy chọn dưới đây có vẻ đơn giản cho vấn đề này. Tôi đã nhận được thông tin này từ một số chủ đề khác nhưng nó đã giúp tôi.

for file in /usr/op/data/Software/temp/application/openpages-storage/*; do
    cp "$file" /opt/sw/op-storage/
done

Chỉ cần chạy một lệnh trên và nó sẽ thực hiện nhiệm vụ.