Tính tổng kích thước tệp theo phần mở rộng trong shell

Chúng tôi có một bộ các thư mục chứa các chỉ mục lucene. Mỗi chỉ mục là một hỗn hợp các loại tệp khác nhau (được phân biệt bởi phần mở rộng), vd:

0/index/_2z6.frq
0/index/_2z6.fnm
..
1/index/_1sq.frq
1/index/_1sq.fnm
..

(đó là khoảng 10 phần mở rộng khác nhau)

Chúng tôi muốn có được tổng số phần mở rộng của tệp, ví dụ:

.frq     21234
.fnm     34757
..

Tôi đã thử các kết hợp khác nhau của du / awk / xargs nhưng thấy thật khó để thực hiện chính xác điều này.

Đối với bất kỳ tiện ích mở rộng nào bạn sử dụng

find /path -name '*.frq' -exec ls -l {} \; | awk '{ Total += $5} END { print Total }'

để có được tổng kích thước tập tin cho loại đó.

Và sau khi suy nghĩ

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -n "$ft "
    find . -name "*${ft}" -exec ls -l {} \; | awk '{total += $5} END {print total}'
done

Sẽ xuất kích thước theo byte của từng loại tệp được tìm thấy.

Với bash version4, bạn chỉ cần gọi find, lsvà awkkhông cần thiết:

declare -A ary

while IFS=$'\t' read name size; do 
  ext=${name##*.}
  ((ary[$ext] += size))
done < <(find . -type f  -printf "%f\t%s\n")

for key in "${!ary[@]}"; do 
  printf "%s\t%s\n" "$key" "${ary[$key]}"
done

Mỗi cột thứ hai được phân tách bởi .và phần cuối (phần mở rộng) được lưu trong mảng.

#!/bin/bash

find . -type f -printf "%s\t%f\n" | awk '
{
 split($2, ext, ".")
 e = ext[length(ext)]
 size[e] += $1
}

END{
 for(i in size)
   print size[i], i
}' | sort -n

sau đó bạn có mọi kích thước tổng số phần mở rộng tính bằng byte.

60055 gemspec
321991 txt
2075312 html
2745143 rb
13387264 gem
47196526 jar

Mở rộng tập lệnh của Iain với phiên bản nhanh hơn để làm việc với số lượng lớn tệp.

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -ne "$ft\t"
    find . -name "*${ft}" -exec du -bcsh '{}' + | tail -1 | sed 's/\stotal//'
done

Đây là giải pháp:

find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq -c | sort -n

Giải pháp được đăng ban đầu trên bài đăng này: Nhận tất cả các tiện ích mở rộng và số tập tin tương ứng của chúng trong một thư mục

Tôi đã giải quyết bằng hai lệnh này:

FILES=$(find . -name '*.c')
stat -c %s ${FILES[@]} | awk '{ sum += $1 } END { print ".c" " " sum }'

phiên bản trả lời của tôi cho câu hỏi:

#!/bin/bash

date >  get_size.log
# Lists all files
find . -type f -printf "%s\t%f\n" | grep -E ".*\.[a-zA-Z0-9]*$" | sort -h | awk  '
{
        split($2, ext, ".")
        e = ext[length(ext)]
        # Checks that one extension could be found
        if(length(e) < length($2)) {
                # Check that file size are bigger than 0
                if($i > 0) {
                        # Check that extension not are integer
                        if(!(e ~/^[0-9]+$/)) {
                                size[e] += $1
                        }
                }
        }
        if(length(e) == length($2)) {
                size["blandat"] += $1
        }
}

END{
 for(i in size)
   print size[i], i
}' | sort -n >> get_size.log
echo
echo
echo The result are in file get_size.log

Hãy thử Crab ( http://etia.co.uk/ ) - đó là tiện ích dòng lệnh cho phép bạn truy vấn hệ thống tệp bằng SQL.