Làm cách nào để loại bỏ cây con (`rm -rf`) khỏi bỏ đói các quy trình khác cho Đĩa I / O?

Chúng tôi có một thư mục bộ đệm Nginx rất lớn (nhiều GB) cho một trang web bận rộn, đôi khi chúng tôi cần phải xóa tất cả cùng một lúc. Tôi đã giải quyết điều này trong quá khứ bằng cách di chuyển thư mục bộ đệm sang một đường dẫn mới, tạo một thư mục bộ đệm mới ở đường dẫn cũ và sau đó rm -rflấy thư mục bộ đệm cũ.

Tuy nhiên, gần đây, khi tôi cần xóa bộ nhớ cache vào một buổi sáng bận rộn, I / O từ đó rm -rfđang bỏ đói các quá trình truy cập đĩa của máy chủ của tôi, vì cả Nginx và máy chủ mà nó hướng tới đều đọc được. Tôi có thể xem mức tăng trung bình của tải trong khi CPU không hoạt động và rm -rfchiếm 98-99% của Đĩa IO iotop.

Tôi đã thử ionice -c 3khi gọi rm, nhưng dường như không có tác dụng đáng kể nào đối với hành vi được quan sát.

Có cách nào để chế ngự rm -rfđể chia sẻ đĩa nhiều hơn không? Tôi có cần sử dụng một kỹ thuật khác sẽ lấy tín hiệu từ nó ionicekhông?

Cập nhật:

Hệ thống tập tin được đề cập là một kho lưu trữ đối tượng AWS EC2 (đĩa chính là EBS). Các /etc/fstabentry trông như thế này:

/dev/xvdb       /mnt    auto    defaults,nobootwait,comment=cloudconfig 0       2

Tất cả dữ liệu được thu thập từ trang này. Dưới đây là một số tùy chọn để xóa thư mục lớn của các tập tin. Kiểm tra writeup để biết chi tiết về cách thức này được sản xuất.

Lệnh đã hết thời gian hệ thống% CPU cs1 * (Vol / Invol)
rsync -aTHERdelete trống / a 10.60 1.31 95% 106/22
tìm b / -type f -delete 28,51 14,46 52% 14849/11
tìm c / -type f | xargs -L 100 rm 41,69 20,60 54% 37048/15074
tìm d / -type f | xargs -L 100 -P 100 rm 34,32 27,82 89% 929897/21720
rm -rf f 31,29 14,80 47% 15134/11

* cs1 là chuyển đổi ngữ cảnh tự nguyện và không tự nguyện

Xóa tệp chỉ thực hiện các hoạt động siêu dữ liệu trên hệ thống tệp không bị ảnh hưởng bởi ionice.

Cách đơn giản nhất là, nếu bạn không cần không gian đĩa ngay bây giờ, để thực hiện rmtrong giờ thấp điểm.

Cách phức tạp hơn mà MIGHT làm việc là phân tán các xóa bỏ theo thời gian. Bạn có thể thử một cái gì đó như sau (lưu ý rằng nó giả sử đường dẫn và tên tệp của bạn KHÔNG chứa bất kỳ khoảng trắng nào!):

while find dir -type f | head -n 100 | xargs rm; do sleep 2; done
while find dir -type d -depth | head -n 100 | xargs rmdir; do sleep 2; done

Cũng lưu ý rằng bạn không thể sử dụng rm -ftrong lệnh đầu tiên vì sau đó vòng lặp sẽ không dừng (điều này phụ thuộc vào mã thoát lỗi rmkhi không có đối số).

Bạn có thể điều chỉnh nó bằng cách sửa đổi số lần xóa trong mỗi chu kỳ (100 trong ví dụ) và thời lượng ngủ. Tuy nhiên, nó có thể không thực sự hoạt động vì hệ thống tệp vẫn có thể kết hợp các bản cập nhật siêu dữ liệu theo cách bạn gặp rắc rối với tải IO của mình. Bạn chỉ cần cố gắng thôi.

Bạn có thể ghép nó với lệnh "đẹp". ionice -c 3 nice -19 rm -rf /some/folder

Điều này thay đổi mức độ ưu tiên của quy trình trên máy.