Xóa hiệu quả thư mục lớn chứa hàng ngàn tệp

Chúng tôi gặp sự cố với một thư mục trở nên khó sử dụng với hàng trăm ngàn tệp nhỏ.

Có rất nhiều tệp thực hiện rm -rftrả về một lỗi và thay vào đó, những gì chúng ta cần làm là một cái gì đó như:

find /path/to/folder -name "filenamestart*" -type f -exec rm -f {} \;

Điều này hoạt động nhưng rất chậm và liên tục thất bại do hết bộ nhớ.

Có cách nào tốt hơn để làm điều này? Lý tưởng nhất là tôi muốn xóa toàn bộ thư mục mà không quan tâm đến nội dung bên trong nó.

Sử dụng rsync là đáng ngạc nhiên nhanh chóng và đơn giản.

mkdir empty_dir
rsync -a --delete empty_dir/    yourdirectory/

Câu trả lời của @ sarath đã đề cập đến một lựa chọn nhanh khác: Perl! Điểm chuẩn của nó là nhanh hơn rsync -a --delete.

cd yourdirectory
perl -e 'for(<*>){((stat)[9]<(unlink))}'

Nguồn:

1. https://stackoverflow.com/questions/1795370/unix-fast-remove-directory-for-cleaning-up-daily-builds
2. http://www.slashroot.in/which-is-the-fastest-method-to-delete-files-in-linux

Ai đó trên Twitter đề nghị sử dụng -deletethay vì-exec rm -f{} \;

Điều này đã cải thiện hiệu quả của lệnh, nó vẫn sử dụng đệ quy để đi qua tất cả mọi thứ mặc dù.

Điều gì về một cái gì đó như: find /path/to/folder -name "filenamestart*" -type f -print0 | xargs -0rn 20 rm -f

Bạn có thể giới hạn số lượng tệp cần xóa cùng một lúc bằng cách thay đổi đối số cho tham số -n. Tên tập tin với khoảng trống cũng được bao gồm.

Một mẹo thông minh:

rsync -a --delete empty/ your_folder/

Đó là siêu CPU chuyên sâu, nhưng thực sự rất nhanh. Xem https://web.archive.org/web/20130929001850/http://linuxnote.net/jianingy/en/linux/a-fast-way-to-remove-huge-number-of-files.html

Mở rộng trên một trong những ý kiến, tôi không nghĩ bạn đang làm những gì bạn nghĩ bạn đang làm.

Đầu tiên tôi tạo một số lượng lớn tệp để mô phỏng tình huống của bạn:

$ mkdir foo
$ cd foo/
$ for X in $(seq 1 1000);do touch {1..1000}_$X; done

Sau đó, tôi đã thử những gì tôi dự đoán sẽ thất bại và những gì nghe giống như bạn đang làm trong câu hỏi:

$ rm -r foo/*
bash: /bin/rm: Argument list too long

Nhưng điều này không hoạt động:

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

Tôi đã có cơ hội để kiểm tra -deleteso với -exec rm \{\} \;và đối với tôi -deletelà câu trả lời cho vấn đề này.

Sử dụng -deleteđã xóa các tệp trong một thư mục gồm 400.000 tệp nhanh hơn ít nhất 1.000 lần so với rm.

Bài viết 'Cách xóa số lượng lớn tệp trong linux' cho thấy nó nhanh hơn khoảng ba lần, nhưng trong thử nghiệm của tôi, sự khác biệt còn ấn tượng hơn nhiều.

Về -deletetùy chọn ở trên: Tôi đang sử dụng nó để xóa một số lượng lớn tệp (1M + est) trong thư mục tạm thời mà tôi đã tạo và vô tình quên dọn dẹp hàng đêm. Tôi vô tình điền vào đĩa / phân vùng của mình và không có gì khác có thể loại bỏ chúng ngoài find .lệnh. Nó rất chậm, lúc đầu tôi đang sử dụng:

find . -ls -exec rm {} \;

Nhưng điều đó đã chiếm một lượng thời gian EXTREME. Nó bắt đầu sau khoảng 15 phút để xóa một số tệp, nhưng tôi đoán là nó đã xóa ít hơn 10 hoặc mỗi giây sau khi cuối cùng nó bắt đầu. Vì vậy, tôi đã thử:

find . -delete

thay vào đó, và tôi đang để nó chạy ngay bây giờ. Nó dường như đang chạy nhanh hơn, mặc dù nó cực kỳ đánh thuế vào CPU mà lệnh khác không có. Bây giờ nó đã chạy được một giờ và tôi nghĩ rằng tôi đang lấy lại không gian trên ổ đĩa của mình và phân vùng dần dần "giảm béo" nhưng nó vẫn mất một thời gian rất dài. Tôi thực sự nghi ngờ rằng nó chạy nhanh hơn 1.000 lần so với cái khác. Như trong tất cả mọi thứ, tôi chỉ muốn chỉ ra sự đánh đổi trong không gian so với thời gian. Nếu bạn có băng thông CPU để dự phòng (chúng tôi làm) thì hãy chạy cái sau. Nó chạy CPU của tôi ( uptimebáo cáo):

10:59:17 up 539 days, 21:21,  3 users,  load average: 22.98, 24.10, 22.87

Và tôi đã thấy mức trung bình tải vượt quá 30,00, điều này không tốt cho một hệ thống bận rộn, nhưng đối với hệ thống của chúng tôi thường được tải nhẹ, sẽ ổn trong vài giờ. Tôi đã kiểm tra hầu hết những thứ khác trên hệ thống và chúng vẫn phản hồi nên hiện tại chúng tôi vẫn ổn.

Có một số phương thức có thể được sử dụng để xóa số lượng lớn tệp trong linux ,. Bạn có thể sử dụng tùy chọn find with xóa, nhanh hơn tùy chọn exec. Sau đó, bạn có thể sử dụng perl unlink, thậm chí rsync. Cách xóa số lượng lớn tệp trong linux

Xem xét sử dụng âm lượng Btrfs và chỉ cần xóa toàn bộ âm lượng cho một thư mục như vậy với số lượng lớn tệp.

Ngoài ra, bạn có thể tạo một tệp hình ảnh FS sau đó ngắt kết nối và xóa tệp của nó để xóa mọi thứ cùng một lúc thực sự nhanh chóng.

Giả sử đã parallelcài đặt GNU , tôi đã sử dụng điều này:

parallel rm -rf dir/{} ::: `ls -f dir/`

và nó đã đủ nhanh.

Xóa các thư mục THỰC SỰ LỚN cần một cách tiếp cận khác, như tôi đã học được từ trang web này - bạn sẽ cần sử dụng ionice. Nó đảm bảo (với -c3) rằng việc xóa sẽ chỉ được thực hiện khi hệ thống có thời gian IO cho nó. Tải hệ thống của bạn sẽ không tăng lên cao và mọi thứ vẫn phản hồi (mặc dù thời gian tìm CPU của tôi khá cao khoảng 50%).

find <dir> -type f -exec ionice -c3 rm {} \;

ls -1 | xargs rm -rf 

nên làm việc trong thư mục chính

Đối với gợi ý của Izkata ở trên:

Nhưng điều này không hoạt động:

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

Điều này gần như đã làm việc - hoặc sẽ có hiệu quả - nhưng tôi đã có một số vấn đề trong sự cho phép; các tệp đã ở trên một máy chủ, nhưng tôi vẫn không hiểu vấn đề cấp phép này đến từ đâu. Dù sao, Terminal yêu cầu xác nhận trên mỗi tập tin. Số lượng tệp khoảng 20 000, vì vậy đây không phải là một tùy chọn. Sau "-r" Tôi đã thêm tùy chọn "-f", vì vậy toàn bộ lệnh là " rm -r -f Foldername / ". Sau đó, nó dường như làm việc tốt. Tôi là người mới với Terminal, nhưng tôi đoán điều này không sao, phải không? Cảm ơn!

Tùy thuộc vào mức độ bạn cần loại bỏ các tệp đó, tôi khuyên bạn nên sử dụng shred.

$ shred -zuv folder

nếu bạn muốn xóa thư mục, nhưng bạn không thể xóa nó và tạo lại nó, tôi khuyên bạn nên di chuyển nó và tạo lại nó ngay lập tức.

mv folder folder_del
mkdir folder
rm -rf folder_del

Điều này nhanh hơn, tin hay không, vì chỉ có một nút phải được thay đổi. Hãy nhớ rằng: Bạn không thể thực sự song song hóa thị hiếu này trên máy tính đa lõi. Nó đi xuống truy cập đĩa, bị giới hạn bởi RAID hoặc những gì có bạn.

Nếu bạn có hàng triệu tệp và mọi giải pháp ở trên khiến hệ thống của bạn bị căng thẳng, bạn có thể thử cảm hứng này:

Tập tin nice_delete:

#!/bin/bash

MAX_LOAD=3
FILES=("$@")
BATCH=100

while [ ${#FILES[@]} -gt 0 ]; do
    DEL=("${FILES[@]:0:$BATCH}")
    ionice -c3 rm "${DEL[@]}"
    echo -n "#"
    FILES=("${FILES[@]:$BATCH}")
    while [[ $(cat /proc/loadavg | awk '{print int($1)}') -gt $MAX_LOAD ]]; do
        echo -n "."
        sleep 1
    done
done

Và bây giờ xóa các tập tin:

find /path/to/folder -type f -exec ./nice_delete {} \+

Tìm sẽ tạo các lô (xem getconf ARG_MAX) của hàng chục ngàn tệp và chuyển nó tới nice_delete. Điều này sẽ tạo ra các lô thậm chí nhỏ hơn để cho phép ngủ khi phát hiện quá tải.

Nếu bạn chỉ muốn loại bỏ nhiều tệp càng sớm càng tốt ls -f1 /path/to/folder/with/many/files/ | xargs rmcó thể hoạt động tốt, nhưng tốt hơn đừng chạy nó trên các hệ thống sản xuất vì hệ thống của bạn có thể trở thành sự cố IO và các ứng dụng có thể bị kẹt trong quá trình xóa.

Kịch bản này hoạt động tốt cho nhiều tệp và không ảnh hưởng đến ioload của hệ thống.

#!/bin/bash

# Path to folder with many files
FOLDER="/path/to/folder/with/many/files"

# Temporary file to store file names
FILE_FILENAMES="/tmp/filenames"

if [ -z "$FOLDER" ]; then
    echo "Prevented you from deleting everything! Correct your FOLDER variable!"
    exit 1
fi

while true; do
    FILES=$(ls -f1 $FOLDER | wc -l)
    if [ "$FILES" -gt 10000 ]; then
        printf "[%s] %s files found. going on with removing\n" "$(date)" "$FILES"
        # Create new list of files
        ls -f1 $FOLDER | head -n 5002 | tail -n 5000 > "$FILE_FILENAMES"

        if [ -s $FILE_FILENAMES ]; then
            while read FILE; do
                rm "$FOLDER/$FILE"
                sleep 0.005
            done < "$FILE_FILENAMES"
        fi
    else
        printf "[%s] script has finished, almost all files have been deleted" "$(date)"
        break
    fi
    sleep 5
done