Có gì nhanh hơn `tìm. | wc -l` để đếm tập tin trong một thư mục?

Không có gì lạ khi tôi phải đếm số lượng tệp trong một thư mục, đôi khi điều này chạy vào hàng triệu.

Có cách nào tốt hơn là chỉ liệt kê và đếm chúng find . | wc -lkhông? Có một số loại cuộc gọi hệ thống tập tin mà bạn có thể thực hiện trên ext3 / 4 mà ít I / O hơn?

Không phải là tăng tốc cơ bản nhưng ít nhất là một cái gì đó :)

find . -printf \\n | wc -l

Bạn thực sự không cần phải vượt qua danh sách tên tệp, chỉ cần các dòng mới là đủ. Biến thể này nhanh hơn khoảng 15% trên Ubuntu 12.04.3 của tôi khi các thư mục được lưu trong bộ nhớ cache. Ngoài ra, biến thể này sẽ hoạt động chính xác với tên tệp chứa dòng mới.

Điều thú vị là biến thể này có vẻ chậm hơn một chút so với biến thể ở trên:

find . -printf x | wc -c

Trường hợp đặc biệt - nhưng thực sự nhanh

Nếu thư mục nằm trên hệ thống tệp riêng của nó, bạn chỉ cần đếm các nút:

df -i .

Nếu số lượng thư mục và tệp trong các thư mục khác không được thay đổi nhiều, bạn có thể chỉ cần trừ số đã biết này khỏi df -ikết quả hiện tại . Bằng cách này, bạn sẽ có thể đếm các tập tin và thư mục rất nhanh.

Tôi đã viết ffcnt cho chính xác mục đích đó. Nó lấy ra phần bù vật lý của chính các thư mục bằng fiemapioctl và sau đó lập lịch trình truyền tải thư mục theo nhiều lượt liên tiếp để giảm quyền truy cập ngẫu nhiên. Việc bạn có thực sự tăng tốc so với find | wc hay không phụ thuộc vào một số yếu tố:

• Kiểu hệ thống tệp: các hệ thống tệp như ext4 hỗ trợ fiemapioctl sẽ có lợi nhất
• tốc độ truy cập ngẫu nhiên: HDD có lợi hơn rất nhiều so với SSD
• bố cục thư mục: số lượng thư mục lồng nhau càng cao, tiềm năng tối ưu hóa càng nhiều

(re) gắn với relatimehoặc thậm chí nodiratimecũng có thể cải thiện tốc độ (cho tất cả các phương thức) khi các truy cập sẽ gây ra cập nhật siêu dữ liệu.

Trên thực tế, trên hệ thống của tôi (Arch Linux) lệnh này

   ls -A | wc -l

nhanh hơn tất cả những điều trên:

   $ time find . | wc -l
  1893

   real    0m0.027s
   user    0m0.004s
   sys     0m0.004s
   $ time find . -printf \\n  | wc -l
   1893

   real    0m0.009s
   user    0m0.000s
   sys     0m0.008s
   $ time find . -printf x  | wc -c
   1893

   real    0m0.009s
   user    0m0.000s
   sys     0m0.008s
   $ time ls -A | wc -l
   1892

   real    0m0.007s
   user    0m0.000s
   sys     0m0.004s