Tìm sự xuất hiện cuối cùng của chuỗi trong nhiều tệp

Tôi cần tìm kiếm nhiều tệp nhật ký (tất cả các tệp được tạo trong 24 giờ qua, tất cả được giữ trong cùng một thư mục) để tìm sự xuất hiện cuối cùng của chuỗi. Đây là lệnh tôi đã viết:

find . -mtime 1 | grep fileprefix | xargs grep 'search string' | tail -1

Nhưng điều này chỉ trả về dòng cuối cùng cho một tệp. Bất kỳ đề xuất về làm thế nào để điều chỉnh này để có được tất cả các dòng?

Giả sử các cơ sở GNU:

find . -mtime -1 -exec bash -c \
'for f; do tac "$f" | grep -m1 fileprefix; done' _ {} +

Nếu mọi thứ đều nằm trong một thư mục, bạn có thể làm:

for file in *fileprefix*; do
    grep 'search string' "$file" | tail -1
done

Nếu đây là các tệp lớn, có thể đáng để tăng tốc mọi thứ bằng cách sử dụng tacđể in tệp theo thứ tự ngược lại (dòng cuối cùng trước) và sau đó grep -m1để khớp với lần xuất hiện đầu tiên. Bằng cách đó, bạn tránh phải đọc toàn bộ tệp:

for file in *fileprefix*; do
    tac file | grep -m1 'search string'
done

Cả hai đều cho rằng không có thư mục phù hợp fileprefix. Nếu có, bạn sẽ gặp một lỗi mà bạn có thể bỏ qua. Nếu đó là một vấn đề, chỉ kiểm tra các tệp:

 for file in *fileprefix*; do
    [ -f "$file" ] && tac file | grep -m1 'search string'
 done

Nếu bạn cũng cần tên tệp được in, thêm -Hvào mỗi greplời gọi. Hoặc, nếu bạn grepkhông hỗ trợ nó, hãy bảo nó cũng tìm kiếm thông qua /dev/null. Điều đó sẽ không thay đổi đầu ra nhưng vì grepđược cung cấp nhiều tệp, nó sẽ luôn in tên tệp cho mỗi lần nhấn:

for file in *fileprefix*; do
    grep 'search string' "$file" /dev/null | tail -1
done

find . ! -name . -prune -mtime 1 -name 'fileprefix*' \
     -exec sed -se'/searchstring/h;$!d;x' {} +

... sẽ hoạt động nếu bạn có GNU sedhỗ trợ -stùy chọn tệp eparate và POSIX find.

Tuy nhiên, bạn có thể nên thêm ! -type dhoặc các -type fvòng loại, vì cố gắng đọc một thư mục sẽ không hữu ích, và việc thu hẹp phạm vi vào các tệp thông thường có thể tránh việc đọc bị treo trên một đường ống hoặc tệp thiết bị nối tiếp.

Logic rất đơn giản - sedghi đè lên hkhông gian cũ của nó bằng một bản sao của bất kỳ dòng đầu vào nào khớp searchstring, sau đó dxóa khỏi đầu ra tất cả các dòng đầu vào nhưng cuối cùng cho mỗi tệp đầu vào. Khi đến dòng cuối cùng, nó sẽ xthay đổi không gian giữ và mẫu của nó, và vì vậy nếu searchstringđược tìm thấy trong khi nó đọc tệp thì lần xuất hiện cuối cùng như vậy sẽ được tự động in thành đầu ra, nếu không nó sẽ viết một dòng trống. (thêm /./!dvào phần đuôi của sedtập lệnh nếu điều đó là không mong muốn) .

Điều này sẽ thực hiện một lệnh sedgọi duy nhất cho mỗi tệp 65k đầu vào - hoặc bất kể ARG_MAXgiới hạn của bạn là gì. Đây phải là một giải pháp rất hiệu quả và được thực hiện khá đơn giản.

Nếu bạn cũng muốn tên tệp, được cung cấp một GNU gần đây, sedbạn có thể viết chúng ra các dòng riêng biệt bằng Flệnh hoặc nếu không bạn có thể in chúng findtrong một danh sách riêng cho mỗi lô bằng cách nối thêm -printchính sau +.

Làm thế nào về:

find . -mtime -1 -name "fileprefix*" -exec sh -c \
'echo "$(grep 'search string' $1 | tail -n 1),$1"' _ {} \;

Ở trên cung cấp cho bạn một đầu ra đẹp với lần xuất hiện cuối cùng của chuỗi tìm kiếm trong mỗi tệp theo sau là tên tệp tương ứng sau dấu phẩy (sửa đổi phần ", $ 1" dưới tiếng vang để thay đổi định dạng hoặc xóa nó nếu không cần thiết). Đầu ra mẫu tìm kiếm chuỗi tìm kiếm '10' trong các tệp có tiền tố tên "tệp" như sau:

[dmitry@localhost sourceDir]$ find . -mtime -1 -name "file*" -exec  sh -c 'echo "$(grep '10' $1 | tail -n 1),$1"' _ {} \;
Another data 02 10,./file02.log
Some data 01 10,./file01.log
Yet another data 03 10,./file03.log 

find . -mtime 1 -name 'fileprefix*' -exec grep -Hn 'search string' {} + |
    sort -t: -k1,2 -n | 
    awk -F: '{key=$1 ; $1="" ; $2="" ; gsub(/^  /,"",$0); a[key]=$0} 
             END {for (key in a) { print key ":" a[key] }}'

Điều này sử dụng grepcác tùy chọn -Hvà -ntùy chọn của GNU để luôn in cả tên tệp và số vải lanh của tất cả các kết quả khớp, sau đó sắp xếp theo tên tệp và vải lanh và đặt nó vào awk, lưu trữ kết quả khớp cuối cùng cho mỗi tên tệp trong một mảng và cuối cùng in nó

Một phương pháp khá vũ phu, nhưng nó hoạt động.