Đảo ngược

Giả sử, tôi có một tệp văn bản thực sự lớn (khoảng 10.000.000 dòng). Tôi cần grepnó từ cuối và lưu kết quả vào một tập tin. Cách hiệu quả nhất để hoàn thành nhiệm vụ là gì?

giải pháp tac / grep

tac file | grep whatever

Hoặc hiệu quả hơn một chút:

grep whatever < <(tac file)

Thời gian với tệp 500MB:

real    0m1.225s
user    0m1.164s
sys     0m0.516s

Giải pháp sed / grep :

sed '1!G;h;$!d' | grep whatever

Thời gian với tệp 500MB: Đã hủy sau hơn 10 phút.

Giải pháp awk / grep :

awk '{x[NR]=$0}END{while (NR) print x[NR--]}' file | grep whatever

Thời gian với tệp 500MB:

real    0m5.626s
user    0m4.964s
sys     0m1.420s

Giải pháp perl / grep :

perl -e 'print reverse <>' file | grep whatever

Thời gian với tệp 500MB:

real    0m3.551s
user    0m3.104s
sys     0m1.036s

Giải pháp này có thể giúp:

tac file_name | grep -e expression

Cái này thoát ra ngay khi nó tìm thấy trận đấu đầu tiên:

 tac hugeproduction.log | grep -m1 WhatImLookingFor

Dưới đây đưa ra 5 dòng trước và sau hai trận đấu đầu tiên:

 tac hugeproduction.log | grep -m2 -A 5 -B 5 WhatImLookingFor

Hãy nhớ không sử dụng -i(trường hợp không nhạy cảm) trừ khi bạn phải làm như vậy sẽ làm chậm grep.

Nếu bạn biết chính xác chuỗi bạn đang tìm thì hãy xem xét fgrep(Chuỗi cố định)

 tac hugeproduction.log | grep -F -m2 -A 5 -B 5 'ABC1234XYZ'

Nếu tệp thực sự lớn, không thể vừa trong bộ nhớ, tôi sẽ sử dụng Perlvới mô-đun File :: ReadBackwards từ CPAN:

$ cat reverse-grep.pl
#!/usr/bin/perl

use strict;
use warnings;

use File::ReadBackwards;

my $pattern = shift;
my $rev = File::ReadBackwards->new(shift)
    or die "$!";

while (defined($_ = $rev->readline)) {
    print if /$pattern/;
}

$rev->close;

Sau đó:

$ ./reverse-grep.pl pattern file