Xóa hàng triệu tệp

Tôi đã có một thư mục chứa đầy hàng triệu hình ảnh gif. Quá nhiều cho lệnh rm.

Tôi đã thử lệnh find như thế này:

find . -name "*.gif" -print0 | xargs -0 rm

Vấn đề là, nó làm hỏng máy của tôi rất tệ và gây mất thời gian cho khách hàng vì đó là máy chủ.

Có cách nào nhanh hơn để xóa tất cả các tệp này ... mà không khóa máy không?

Nhanh hơn không nhất thiết là những gì bạn muốn. Bạn có thể muốn thực sự chạy chậm hơn , vì vậy việc xóa sẽ tiết kiệm ít tài nguyên hơn trong khi nó đang chạy.

Sử dụng tốt (1) để giảm mức độ ưu tiên của lệnh.

nice find . -name "*.gif" -delete

Đối với các quy trình ràng buộc I / O, (1) có thể không đủ. Bộ lập lịch Linux có tính đến I / O, không chỉ CPU, mà bạn có thể muốn kiểm soát tốt hơn mức ưu tiên I / O.

ionice -c 2 -n 7 find . -name "*.gif" -delete

Nếu điều đó không làm điều đó, bạn cũng có thể thêm một giấc ngủ để thực sự làm nó chậm lại.

find . -name "*.gif" -exec sleep 0.01 \; -delete

Vì bạn đang chạy Linux và tác vụ này có thể là I / O bị ràng buộc, tôi khuyên bạn nên ưu tiên cho trình lập lịch biểu I / O của bạn ở chế độ chờ sử dụng ionice(1):

ionice -c3 find . -name '*.gif' -delete

So sánh với lệnh ban đầu của bạn, tôi đoán điều này thậm chí có thể dự phòng một số chu kỳ CPU hơn bằng cách tránh đường ống đến xargs.

Không.

Không có cách nào nhanh hơn, xuất hiện từ định dạng mềm của đĩa. Các tệp được cấp cho rm cùng một lúc (tối đa giới hạn của dòng lệnh, nó cũng có thể được đặt thành xargs), tốt hơn nhiều so với gọi rm trên mỗi tệp. Vì vậy, không có cách nào nhanh hơn.

Sử dụng nice(hoặc renicetrên một quy trình đang chạy) chỉ giúp một phần, vì đó là để lập lịch cho tài nguyên CPU , không phải đĩa! Và việc sử dụng CPU sẽ rất thấp. Đây là một điểm yếu của linux - nếu một quá trình "ăn hết" đĩa (tức là hoạt động rất nhiều với nó), toàn bộ máy bị kẹt. Hạt nhân sửa đổi để sử dụng thời gian thực có thể là một giải pháp.

Những gì tôi sẽ làm trên máy chủ là để thủ công cho các quá trình khác thực hiện công việc của họ - bao gồm tạm dừng để giữ cho máy chủ "thở":

find . -name "*.gif" > files
split -l 100 files files.
for F in files.* do
    cat $F | xargs rm
    sleep 5 
done

Điều này sẽ đợi 5 giây sau mỗi 100 tệp. Sẽ mất nhiều thời gian hơn nhưng khách hàng của bạn không nên nhận thấy bất kỳ sự chậm trễ nào.

Nếu số lượng tệp sẽ bị xóa vượt quá số lượng tệp bị bỏ lại, thì đó có thể không phải là cách tiếp cận hiệu quả nhất để chuyển cây cây bị xóa và thực hiện tất cả các cập nhật hệ thống tệp đó. (Nó tương tự như thực hiện quản lý bộ nhớ đếm tham chiếu vụng về, truy cập mọi đối tượng trong một cây lớn để bỏ tham chiếu của nó, thay vì biến mọi thứ không mong muốn thành rác trong một bước, sau đó quét qua những gì có thể tiếp cận để dọn sạch.)

Điều đó có nghĩa là, nhân bản các phần của cây sẽ được giữ cho một tập khác. Tạo lại một hệ thống tập tin mới, trống trên ổ đĩa gốc. Sao chép các tập tin được giữ lại trở lại đường dẫn ban đầu của họ. Điều này mơ hồ tương tự như sao chép bộ sưu tập rác .

Sẽ có một số thời gian chết, nhưng nó có thể tốt hơn so với sự gián đoạn hiệu suất và dịch vụ liên tục.

Nó có thể không thực tế trong hệ thống và tình huống của bạn, nhưng thật dễ dàng để tưởng tượng các trường hợp rõ ràng trong đó đây là cách để đi.

Chẳng hạn, giả sử bạn muốn xóa tất cả các tệp trong một hệ thống tệp. Điều gì sẽ là điểm đệ quy và xóa từng cái một? Chỉ cần ngắt kết nối nó và thực hiện "mkfs" trên đầu phân vùng để tạo một hệ thống tập tin trống.

Hoặc giả sử bạn muốn xóa tất cả các tệp ngoại trừ một nửa tá các tệp quan trọng? Đưa nửa tá ra khỏi đó và ... "mkfs" trên đầu trang.

Cuối cùng, có một số điểm hòa vốn khi có đủ các tệp phải ở lại, nó trở nên rẻ hơn để thực hiện xóa đệ quy, có tính đến các chi phí khác như bất kỳ thời gian chết nào.

Bạn đã thử chưa:

find . -name "*.gif" -exec rm {} +

Dấu + ở cuối sẽ khiến find bao gồm nhiều tệp hơn cho lệnh rm duy nhất được thực thi. Kiểm tra câu hỏi này để biết thêm chi tiết.