Có một cách dễ dàng để đếm các ký tự trong các từ trong tệp, từ thiết bị đầu cuối?

Tôi có 100 triệu hàng trong tệp của mình.

Mỗi hàng chỉ có một cột.

ví dụ

aaaaa
bb
cc
ddddddd
ee

Tôi muốn liệt kê số lượng nhân vật

Như thế này

2 character words - 3
5 character words - 1
7 character words - 1

Vân vân.

Có cách nào dễ dàng để làm điều này trong thiết bị đầu cuối?

$ awk '{ print length }' file | sort -n | uniq -c | awk '{ printf("%d character words: %d\n", $2, $1) }'
2 character words: 3
5 character words: 1
7 character words: 1

Bộ awklọc đầu tiên sẽ chỉ in độ dài của mỗi dòng trong tệp được gọi file. Tôi giả sử rằng tệp này chứa một từ trên mỗi dòng.

Các sort -n(loại các dòng từ đầu ra của awksố lượng trong thứ tự tăng dần) và uniq -c(đếm số lần mỗi dòng xảy ra liên tiếp) sau đó sẽ tạo ra kết quả sau từ đó cho các dữ liệu đưa ra:

   3 2
   1 5
   1 7

Điều này sau đó được phân tích cú pháp bởi awktập lệnh thứ hai diễn giải mỗi dòng là "Số dòng X có ký tự Y" và tạo ra đầu ra mong muốn.

Giải pháp thay thế là làm tất cả trong awkvà giữ số lượng độ dài trong một mảng. Đó là sự đánh đổi giữa hiệu quả, dễ đọc / dễ hiểu (và do đó có thể duy trì) giải pháp nào là "tốt nhất".

Giải pháp thay thế:

$ awk '{ len[length]++ } END { for (i in len) printf("%d character words: %d\n", i, len[i]) }' file
2 character words: 3
5 character words: 1
7 character words: 1

Một cách khác để làm tất cả với awkmột mình

$ awk '{words[length()]++} END{for(k in words)print k " character words - " words[k]}' ip.txt 
2 character words - 3
5 character words - 1
7 character words - 1

• words[length()]++ sử dụng độ dài của dòng đầu vào làm khóa để tiết kiệm số lượng
• END{for(k in words)print k " character words - " words[k]} sau khi tất cả các dòng được xử lý, in nội dung của mảng ở định dạng mong muốn

So sánh hiệu suất, số được chọn là tốt nhất trong hai lần chạy

$ wc words.txt
 71813  71813 655873 words.txt
$ perl -0777 -ne 'print $_ x 1000' words.txt > long_file.txt
$ du -h --apparent-size long_file.txt
626M    long_file.txt

$ time awk '{words[length()]++} END{for(k in words)print k " character words - " words[k]}' long_file.txt > t1

real    0m20.632s
user    0m20.464s
sys     0m0.108s

$ time perl -lne '$h{length($_)}++ }{ for $n (sort keys %h) {print "$n character words - $h{$n}"}' long_file.txt > t2

real    0m19.749s
user    0m19.640s
sys     0m0.108s

$ time awk '{ print length }' long_file.txt | sort -n | uniq -c | awk '{ printf("%d character words - %d\n", $2, $1) }' > t3

real    1m23.294s
user    1m24.952s
sys     0m1.980s

$ diff -s <(sort t1) <(sort t2)
Files /dev/fd/63 and /dev/fd/62 are identical
$ diff -s <(sort t1) <(sort t3)
Files /dev/fd/63 and /dev/fd/62 are identical

Nếu tệp chỉ có các ký tự ASCII,

$ time LC_ALL=C awk '{words[length()]++} END{for(k in words)print k " character words - " words[k]}' long_file.txt > t1

real    0m15.651s
user    0m15.496s
sys     0m0.120s

Không chắc tại sao thời gian perlkhông thay đổi nhiều, có lẽ phải mã hóa theo cách khác

Đây là một perltương đương (với - tùy chọn - sắp xếp):

$ perl -lne '
    $h{length($_)}++ }{ for $n (sort keys %h) {print "$n character words - $h{$n}"}
' file
2 character words - 3
5 character words - 1
7 character words - 1

Một thay thế một cuộc gọi đến GNU awk, sử dụng printf :

$ awk 'BEGIN { PROCINFO["sorted_in"] = "@ind_str_asc"}
       {c[length($0)]++}
       END{
           for(i in c){printf("%s character words - %s\n",i,c[i])}
          }' infile
2 character words - 3
5 character words - 1
7 character words - 1

Thuật toán cốt lõi chỉ thu thập số lượng ký tự trong một mảng. Phần cuối in số lượng thu thập được định dạng bằng printf.

Nhanh chóng, đơn giản, một cuộc gọi duy nhất để awk.

Nói chính xác: một số bộ nhớ nữa được sử dụng để giữ mảng.
Nhưng không có loại nào được gọi (chỉ mục mảng số được đặt luôn luôn được sắp xếp theo chiều ngang với PROCINFO) và chỉ có một chương trình bên ngoài : awk, thay vì một số.