Nhận số lần xuất hiện của tệp văn bản của tất cả các từ và đầu ra in được sắp xếp

Tôi đã có một lệnh sẽ làm việc thông qua một tệp văn bản, đếm tất cả các lần xuất hiện của các từ và in ra như thế này:

user@box $˜ magic-command-i-forgot | with grep | and awk | sort ./textfile.txt
66: the
54: and
32: I
16: unix
12: bash
5:  internet
3:  sh
1: GNU/Linux

Vì vậy, nó không tìm kiếm từng dòng một, mà từng từ một, và nó làm điều đó cho tất cả các từ, không chỉ cho 1 từ. Tôi đã tìm thấy nó ở đâu đó trên mạng quốc tế từ lâu, nhưng tôi không thể tìm thấy hoặc nhớ nó ..

Tôi sẽ sử dụng trthay vì awk :

echo "Lorem ipsum dolor sit sit amet et cetera." | tr '[:space:]' '[\n*]' | grep -v "^\s*$" | sort | uniq -c | sort -bnr

• tr chỉ thay thế không gian bằng dòng mới
• grep -v "^\s*$" cắt ra các dòng trống
• sort để chuẩn bị làm đầu vào cho uniq
• uniq -c đếm số lần xuất hiện
• sort -bnr sắp xếp theo thứ tự ngược số trong khi bỏ qua khoảng trắng

ồ hóa ra đó là một mệnh lệnh tuyệt vời để đếm lời thề

tìm thấy . -name "* .py" -exec mèo {} \; | tr '[: dấu cách:]' '[\ n *]' | grep -v "^ \ s * $" | sắp xếp | uniq -c | sắp xếp -bnr | grep chết tiệt

1. Chia đầu vào thành các từ, mỗi dòng trên một dòng.
2. Sắp xếp danh sách kết quả của các từ (dòng).
3. Bóp nhiều lần xuất hiện.
4. Sắp xếp theo số lần xuất hiện.

Để phân chia đầu vào thành các từ, thay thế bất kỳ ký tự nào bạn cho là dấu tách từ bằng một dòng mới.

<input_file \
tr -sc '[:alpha:]' '[\n*]' | # Add digits, -, ', ... if you consider
                             # them word constituents
sort |
uniq -c |
sort -nr

Không sử dụng grep và awk nhưng điều này dường như làm những gì bạn muốn:

for w in `cat maxwell.txt`; do echo $w; done|sort|uniq -c
  2 a
  1 A
  1 an
  1 command
  1 considered
  1 domain-specific
  1 for
  1 interpreter,
  2 is
  1 language.
  1 line
  1 of

Tôi tin rằng bạn sau khi một cái gì đó như thế này?

$ perl -n -e 'foreach ${k} (split(/\s+/)){++$h{$k}};END{foreach $l (keys(%h)){print "$h{$l}: ${l}\n"}}' /path/to/your/file | sort -n -k 1

tất nhiên bạn cũng có thể làm awknhư vậy :)

Sử dụng awk/sort/uniqgiải pháp:

awk '{for(w=1;w<=NF;w++) print $w}' ~/textFile.txt | sort | uniq -c | sort -nr

file=/home/stefan/ooxml1.txt
for word in $(sed 's/[^A-Za-z]/ /g' $file | tr " " "\n" | sort -u)
do
  echo -n "$word "
  grep -c $word $file
done | sort -k2 -n 

sắp xếp tăng dần sau khi chia tập tin thành các từ.

Các grep đơn giản sẽ tìm thấy fishtrong fisheye, vì vậy bạn phải tăng cường các lệnh grep để ngăn chặn trận đấu một phần.

Mất khoảng 3 giây cho tệp văn bản 25k trên máy ở độ tuổi, ổ cứng cổ điển (IDE).

Đối với các tệp lớn hơn hoặc thường được thực hiện, cách tiếp cận bản đồ băm sẽ tốt hơn, nhưng đối với một công việc hiếm khi chạy hoặc chỉ các tệp nhỏ hơn, nó có thể là đủ.