Xóa hàng tỷ tệp từ một thư mục trong khi vẫn thấy tiến trình

Tôi có một thư mục 30 TB có hàng tỷ tệp trong đó chính thức là tất cả các tệp JPEG. Tôi đang xóa từng thư mục của các tập tin như thế này:

sudo rm -rf bolands-mills-mhcptz

Lệnh này chỉ chạy và không hiển thị bất cứ điều gì cho dù nó hoạt động hay không.

Tôi muốn xem vì nó đang xóa các tập tin hoặc trạng thái hiện tại của lệnh là gì.

Bạn có thể sử dụng rm -vđể rmin một dòng trên mỗi tệp. Bằng cách này bạn có thể thấy rằng rmthực sự đang làm việc để xóa các tập tin. Nhưng nếu bạn có hàng tỷ tệp thì tất cả những gì bạn sẽ thấy là nó rmvẫn hoạt động. Bạn sẽ không biết có bao nhiêu tệp đã bị xóa và còn lại bao nhiêu.

Công cụ này pvcó thể giúp bạn ước tính tiến độ.

http://www.ivarch.com/programs/pv.shtml

Đây là cách bạn sẽ gọi rmvới pvđầu ra ví dụ

$ rm -rv dirname | pv -l -s 1000 > logfile
562  0:00:07 [79,8 /s] [====================>                 ] 56% ETA 0:00:05

Trong ví dụ giả định này, tôi đã nói pvrằng có 1000các tệp. Đầu ra từ pvcho thấy 562 đã bị xóa, thời gian trôi qua là 7 giây và ước tính để hoàn thành là trong 5 giây.

Một số giải thích:

• pv -llàm cho pvviệc đếm theo dòng mới thay vì byte
• pv -s numbercho biết pvtổng số là gì để nó có thể cung cấp cho bạn một ước tính.
• Chuyển hướng đến logfilecuối là cho đầu ra sạch. Nếu không, dòng trạng thái từ pvđược trộn lẫn với đầu ra từ rm -v. Phần thưởng: bạn sẽ có một logfile về những gì đã bị xóa. Nhưng hãy cẩn thận các tập tin sẽ nhận được rất lớn. Bạn cũng có thể chuyển hướng đến /dev/nullnếu bạn không cần một bản ghi.

Để có được số lượng tệp bạn có thể sử dụng lệnh này:

$ find dirname | wc -l

Điều này cũng có thể mất nhiều thời gian nếu có hàng tỷ tệp. Bạn cũng có thể sử dụng pvở đây để xem nó đã đếm được bao nhiêu

$ find dirname | pv -l | wc -l
278k 0:00:04 [56,8k/s] [     <=>                                              ]
278044

Ở đây nó nói rằng phải mất 4 giây để đếm được 278k tệp. Số đếm chính xác ở cuối ( 278044) là đầu ra từ wc -l.

Nếu bạn không muốn chờ đếm thì bạn có thể đoán số lượng tệp hoặc sử dụng pvmà không cần ước tính:

$ rm -rv dirname | pv -l > logfile

Như thế này bạn sẽ không có ước tính để kết thúc nhưng ít nhất bạn sẽ thấy có bao nhiêu tệp đã bị xóa. Chuyển hướng đến /dev/nullnếu bạn không cần logfile.

Nitpick:

• bạn có thực sự cần sudokhông
• thường rm -rlà đủ để xóa đệ quy. không cần cho rm -f.

Kiểm tra câu trả lời của lesmana , nó tốt hơn nhiều so với của tôi - đặc biệt là pvví dụ cuối cùng , sẽ không mất nhiều thời gian hơn so với im lặng ban đầu rmnếu bạn chỉ định /dev/nullthay vì logfile.

Giả sử rmhỗ trợ của bạn tùy chọn (có thể là do bạn đang chạy Linux), bạn có thể chạy nó ở chế độ dài dòng với -v:

sudo rm -rfv bolands-mills-mhcptz

Như đã được chỉ ra bởi một số người bình luận, điều này có thể rất chậm vì số lượng đầu ra được tạo ra và hiển thị bởi thiết bị đầu cuối. Thay vào đó, bạn có thể chuyển hướng đầu ra thành một tệp:

sudo rm -rfv bolands-mills-mhcptz > rm-trace.txt

và xem kích thước của rm-trace.txt.

Một tùy chọn khác là xem số lượng tập tin trên hệ thống tập tin giảm. Trong một thiết bị đầu cuối khác, chạy:

watch  df -ih   pathname

Số lượng inodes được sử dụng sẽ giảm khi rmtiến bộ. (Trừ khi các tệp chủ yếu có nhiều liên kết, ví dụ: nếu cây được tạo bằng cp -al). Điều này theo dõi tiến trình xóa theo số lượng tệp (và thư mục). dfmà không -itheo dõi về mặt không gian sử dụng.

Bạn cũng có thể chạy iostat -x 4để xem các hoạt động I / O mỗi giây (cũng như kiB / s, nhưng điều đó không liên quan lắm đối với I / O siêu dữ liệu thuần túy).

Nếu bạn tò mò về những tập tin rmhiện đang làm việc, bạn có thể đính kèm stracevào nó và xem như các unlink()cuộc gọi hệ thống (và getdents) phun ra trên thiết bị đầu cuối của bạn. ví dụ sudo strace -p $(pidof rm). Bạn có thể ^cbước đi để tách ra rmmà không làm gián đoạn nó.

Tôi quên nếu rm -rthay đổi thư mục vào cây, nó sẽ xóa; nếu có thì bạn có thể nhìn vào /proc/<PID>/cwd. Nó /proc/<PID>/fdthường có thể có một thư mục fd mở, vì vậy bạn có thể nhìn vào đó để xem rmquá trình của bạn hiện đang xem gì .

Mặc dù tất cả các câu trả lời trên đều sử dụng rm, nhưng rmthực sự có thể khá chậm trong việc xóa một số lượng lớn tệp, như tôi đã quan sát gần đây khi trích xuất ~ 100K tệp từ kho lưu trữ .tar thực sự tốn ít thời gian hơn so với xóa chúng. Mặc dù điều này không thực sự trả lời câu hỏi bạn đã hỏi, một giải pháp tốt hơn cho vấn đề của bạn có thể là sử dụng một phương pháp khác để xóa các tệp của bạn, chẳng hạn như một trong những câu trả lời được nêu lên cho câu hỏi này .

Phương pháp yêu thích cá nhân của tôi là sử dụng rsync -a --delete. Tôi thấy rằng phương pháp này thực hiện đủ nhanh đến mức đáng để sử dụng dễ dàng hơn câu trả lời được đánh giá cao nhất cho câu hỏi đó , trong đó tác giả đã viết một chương trình C mà bạn sẽ cần biên dịch. (Lưu ý rằng điều này sẽ xuất ra mọi tệp đang được xử lý thành thiết bị xuất chuẩn, giống như rm -rv; điều này có thể làm chậm quá trình một cách đáng ngạc nhiên. Nếu bạn không muốn đầu ra này, hãy sử dụng rsync -aq --deletehoặc chuyển hướng đầu ra sang tệp thay thế.)

Tác giả của câu trả lời đó nói:

Chương trình bây giờ (trên hệ thống của tôi) sẽ xóa 1000000 tệp trong 43 giây. Chương trình gần nhất với điều này là rsync -a --delete mất 60 giây (cũng xóa theo thứ tự, nhưng không thực hiện tra cứu thư mục hiệu quả).

Tôi đã thấy rằng điều này là đủ tốt cho mục đích của tôi. Cũng có khả năng quan trọng từ câu trả lời đó, ít nhất là nếu bạn đang sử dụng ext4:

Như đã biết trước, người ta nên xóa thư mục bị ảnh hưởng và làm lại sau. Các thư mục chỉ tăng kích thước và có thể vẫn hoạt động kém ngay cả với một vài tệp bên trong do kích thước của thư mục.

Một điều bạn có thể làm là bắt đầu rmquá trình ở chế độ nền (không có đầu ra, vì vậy nó sẽ không bị chậm lại) và sau đó, theo dõi nó ở phía trước bằng lệnh ^(a) đơn giản :

pax> ( D=/path/to/dir ; rm -rf $D & while true ; do
...>   if [[ -d $D ]] ; then
...>     echo "$(find $D | wc -l) items left"
...>   else
...>     echo "No items left"
...>     break
...>   fi
...>   sleep 5
...> done )

27912 items left
224 items left
No items left

pax> _

Các find/wckết hợp có thể được thay thế bằng bất kỳ công cụ có khả năng cung cấp cho bạn các đơn vị bạn muốn.

^(a) Chà, tương đối đơn giản, so với, nói, vật lý hạt nhân, giả thuyết Riemann, hoặc mua gì cho vợ tôi cho Xmas :-)

Cách đây một thời gian tôi đã viết một cái gì đó để in tốc độ mà các dòng được in. Bạn có thể chạy rm -rfv | ./countervà nó sẽ in các dòng mỗi giây / phút. Mặc dù không phải là một tiến trình trực tiếp, nhưng nó sẽ cung cấp cho bạn một số phản hồi về tốc độ tiến trình, có thể là rmlang thang vào một hệ thống tập tin mạng hoặc có lẽ tương tự?

Liên kết đến mã ở đây:

http://www.usenix.org.uk/code/count-0.01.tar.gz