Chúng tôi đang sử dụng rsnapshot để sao lưu. Nó giữ rất nhiều ảnh chụp nhanh của tập tin sao lưu, nhưng nó xóa những cái cũ. Điều này là tốt Tuy nhiên, phải mất khoảng 7 giờ để thực hiện một rm -rfcây thư mục lớn. Hệ thống tập tin là XFS. Tôi không chắc có bao nhiêu tập tin ở đó, nhưng nó có thể lên tới hàng triệu.
Có cách nào để tăng tốc nó không? Có lệnh nào giống như rm -rfvà không mất nhiều giờ không?
Câu trả lời:
Không.
rm -rfthực hiện một giao dịch theo chiều sâu đệ quy đầu tiên của hệ thống tệp của bạn, gọi unlink()trên mọi tệp. Hai thao tác làm cho quá trình đi chậm là opendir()/ readdir()và unlink(). opendir()và readdir()phụ thuộc vào số lượng tệp trong thư mục. unlink()phụ thuộc vào kích thước của tập tin bị xóa. Cách duy nhất để thực hiện việc này nhanh hơn là giảm kích thước và số lượng tệp (mà tôi nghi ngờ là không có khả năng) hoặc thay đổi hệ thống tệp thành một với các đặc điểm tốt hơn cho các hoạt động đó. Tôi tin rằng XFS tốt cho unlink () trên tệp lớn, nhưng không tốt cho cấu trúc thư mục lớn. Bạn có thể thấy rằng ext3 + dirindex hoặc reiserfs nhanh hơn. Tôi không chắc giá vé của JFS tốt như thế nào, nhưng tôi chắc chắn có rất nhiều điểm chuẩn về hiệu suất hệ thống tệp khác nhau.
Chỉnh sửa: Có vẻ như XFS rất tệ trong việc xóa cây , vì vậy chắc chắn thay đổi hệ thống tệp của bạn.
unlinkkhông làm gì với nội dung thực tế ngoài việc thực hiện một unlinkcuộc gọi hệ thống, mã hệ thống tệp vẫn còn nhiều việc phải làm nếu liên kết bị xóa là liên kết cuối cùng với tệp và nếu nó hiện không mở. Điều này tất nhiên phụ thuộc vào hệ thống tệp nhưng sau đó có thể có một sự khác biệt rất rõ ràng khi tệp bị xóa là rất lớn.
Thay vào đó, hãy chuyển thư mục sang một bên, tạo lại nó với cùng tên, quyền và quyền sở hữu và khởi động lại bất kỳ ứng dụng / dịch vụ nào quan tâm đến thư mục đó.
Sau đó, bạn có thể "đẹp rm" thư mục gốc trong nền mà không phải lo lắng về việc mất điện kéo dài.
Đảm bảo rằng bạn có các tùy chọn gắn kết phù hợp được đặt cho XFS.
Sử dụng -ologbufs = 8, logbsize = 256k với XFS có thể sẽ nhân ba hiệu suất xóa của bạn.
Nếu bạn đang thực hiện rm ở mức hiệu quả ở cấp độ tệp thì sẽ mất nhiều thời gian. Đây là lý do tại sao ảnh chụp nhanh dựa trên khối rất tốt :).
Bạn có thể thử chia rm thành các khu vực riêng biệt và cố gắng thực hiện song song tuy nhiên tôi có thể không mong đợi nó sẽ cải thiện. XFS được biết là có vấn đề khi xóa các tệp và nếu đó là một phần lớn trong những gì bạn làm thì có lẽ một hệ thống tệp khác cho đó sẽ là một ý tưởng.
Tôi biết điều này là cũ, nhưng tôi nghĩ id ném trong một đề nghị. Bạn đang xóa các tệp đó một cách tuần tự, thực hiện các thao tác rm song song có thể tăng tốc mọi thứ.
http://savannah.nongnu.org/projects/abul/ song song thường có thể được sử dụng thay cho xargs
vì vậy nếu bạn xóa tất cả các tập tin trong deltedir
find -t f deletedir | parallel -j 10 rm
Điều đó sẽ để lại cho bạn các cấu trúc thư mục trống để xóa.
Lưu ý: Bạn có thể vẫn gặp phải các giới hạn hệ thống tệp như đã lưu ý ở trên.
Liệu một lựa chọn thay thế ở đây có thể tách rời dữ liệu theo cách mà bạn có thể rác và xây dựng lại hệ thống tập tin thực tế thay vì thực hiện rm không?
Làm thế nào về việc giảm độ độc đáo của lệnh? Như:
nice -20 rm -rf /path/to/dir/
find . -delete -name directoryvà nó nhanh hơn nhiềurm -rf.