Đếm tất cả các lần xuất hiện của một chuỗi trong nhiều tệp với grep

Tôi có một loạt các tập tin nhật ký. Tôi cần tìm hiểu bao nhiêu lần một chuỗi xảy ra trong tất cả các tệp.

grep -c string *

trả lại

...
file1:1
file2:0
file3:0
...

Sử dụng một đường ống tôi chỉ có thể nhận được các tệp có một hoặc nhiều lần xuất hiện:

grep -c string * | grep -v :0

...
file4:5
file5:1
file6:2
...

Làm thế nào tôi chỉ có thể nhận được số lượng kết hợp? (Nếu nó trở lại file4:5, file5:1, file6:2, tôi muốn lấy lại 8.)

cat * | grep -c string

Điều này hoạt động cho nhiều lần xuất hiện trên mỗi dòng:

grep -o string * | wc -l

grep -oh string * | wc -w

sẽ tính nhiều lần xuất hiện trong một dòng

Thay vì sử dụng -c, chỉ cần đặt nó vào wc -l.

grep string * | wc -l

Điều này sẽ liệt kê mỗi lần xuất hiện trên một dòng và sau đó đếm số lượng dòng.

Điều này sẽ bỏ lỡ các trường hợp trong đó chuỗi xảy ra hơn 2 lần trên một dòng.

cat * | grep -c string

Một trong những ứng dụng hữu ích hiếm có của cat.

Một cái gì đó khác với tất cả các câu trả lời trước:

perl -lne '$count++ for m/<pattern>/g;END{print $count}' *

Bạn có thể thêm -Rvào tìm kiếm đệ quy (và tránh sử dụng mèo) và -Ibỏ qua các tệp nhị phân.

grep -RIc string .

Giải pháp AWK bắt buộc:

grep -c string * | awk 'BEGIN{FS=":"}{x+=$2}END{print x}'

Hãy cẩn thận nếu tên tệp của bạn bao gồm ":" mặc dù.

Giải pháp AWK cũng xử lý tên tệp bao gồm dấu hai chấm:

grep -c string * | sed -r 's/^.*://' | awk 'BEGIN{}{x+=$1}END{print x}'

Hãy nhớ rằng phương pháp này vẫn không tìm thấy nhiều lần xuất hiện stringtrên cùng một dòng.

Nếu bạn muốn số lần xuất hiện trên mỗi tệp (ví dụ cho chuỗi "tcp"):

grep -RIci "tcp" . | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Ví dụ đầu ra:

53  ./HTTPClient/src/HTTPClient.cpp
21  ./WiFi/src/WiFiSTA.cpp
19  ./WiFi/src/ETH.cpp
13  ./WiFi/src/WiFiAP.cpp
4   ./WiFi/src/WiFiClient.cpp
4   ./HTTPClient/src/HTTPClient.h
3   ./WiFi/src/WiFiGeneric.cpp
2   ./WiFi/examples/WiFiClientBasic/WiFiClientBasic.ino
2   ./WiFiClientSecure/src/ssl_client.cpp
1   ./WiFi/src/WiFiServer.cpp

Giải trình:

• grep -RIci NEEDLE . - tìm chuỗi NEEDLE đệ quy từ thư mục hiện tại (theo các liên kết tượng trưng), bỏ qua các nhị phân, đếm số lần xuất hiện, bỏ qua trường hợp
• awk ... - lệnh này bỏ qua các tệp có số lần xuất hiện và định dạng dòng
• sort -hr - sắp xếp các dòng theo thứ tự ngược theo số trong cột đầu tiên

Tất nhiên, nó cũng hoạt động với các lệnh grep khác với tùy chọn -c(tính). Ví dụ:

grep -c "tcp" *.txt | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Bạn có thể sử dụng một cách đơn giản grepđể nắm bắt số lần xuất hiện một cách hiệu quả. Tôi sẽ sử dụng -itùy chọn để đảm bảo STRING/StrING/stringđược chụp đúng cách.

Dòng lệnh cung cấp tên của tệp:

grep -oci string * | grep -v :0

Dòng lệnh xóa tên tệp và in 0 nếu có tệp không xuất hiện:

grep -ochi string *

biến thể đệ quy ngắn :

find . -type f -exec cat {} + | grep -c 'string'

Giải pháp duy nhất mà tôi đã thử nghiệm với grep cho windows:

grep -ro "pattern to find in files" "Directory to recursively search" | grep -c "pattern to find in files"

Giải pháp này sẽ tính tất cả các lần xuất hiện ngay cả khi có nhiều trên một dòng. -rtìm kiếm đệ quy thư mục, -osẽ "chỉ hiển thị một phần của dòng khớp với MẪU" - đây là phần phân tách nhiều lần xuất hiện trên một dòng và làm cho grep in mỗi trận đấu trên một dòng mới; sau đó chuyển các kết quả được phân tách bằng dòng mới thành grep -cđể đếm số lần xuất hiện bằng cách sử dụng cùng một mẫu.

Dưới đây là cách thay thế AWK nhanh hơn grep để thực hiện việc này, xử lý nhiều kết quả khớp <url>trên mỗi dòng, trong một tập hợp các tệp XML trong một thư mục:

awk '/<url>/{m=gsub("<url>","");total+=m}END{print total}' some_directory/*.xml

Điều này hoạt động tốt trong trường hợp một số tệp XML không có ngắt dòng.

Một oneliner khác sử dụng các hàm dòng lệnh cơ bản xử lý nhiều lần xuất hiện trên mỗi dòng.

 cat * |sed s/string/\\\nstring\ /g |grep string |wc -l