Tối ưu hóa GNU grep

Tôi đang sử dụng egrep ( grep -E) với tập tin THỰC HIỆN. ( -f path/to/file).

Điều này được thực hiện trong một vòng lặp vô hạn trên một luồng văn bản. Điều này ngụ ý rằng tôi không thể tích lũy và chuyển TẤT CẢ đầu vào cho grep cùng một lúc (như *.log).

Có cách nào để grep "lưu" NFA mà nó đang xây dựng từ tệp MẪU để sử dụng cho lần chạy tiếp theo không?

Tôi đã tìm kiếm Google và đọc tài liệu không có may mắn.

Tôi sẽ cố gắng giải thích thêm một chút nữa. Tôi cần xác định một số chuỗi cố định với biểu thức chính quy (Đây không phải là một phần của câu hỏi nhưng vui lòng đề xuất khác) như địa chỉ IP, tên miền, v.v. Việc tìm kiếm được thực hiện trên nguồn cấp dữ liệu từ internet. Bạn có thể nghĩ về nó như một dòng văn bản. Tôi không thể sử dụng greptrên tất cả các đầu vào vì đó là một luồng. Tôi có thể tích lũy một đoạn luồng và sử dụng greptrên luồng đó (do đó không sử dụng greptrên mỗi dòng) nhưng điều này cũng bị hạn chế (giả sử trong 30 giây).

Tôi biết grepđang xây dựng một NFA từ tất cả các mẫu của nó (trong trường hợp của tôi từ một tệp). Vì vậy, câu hỏi của tôi ở đây là: tôi có thể bảo greplưu NFA đó cho lần chạy tiếp theo không, vì nó sẽ không thay đổi? Điều đó sẽ giúp tôi tiết kiệm thời gian xây dựng NFA đó mỗi lần.

Không, không có điều đó. Nói chung, chi phí bắt đầu grep(rẽ nhánh một quy trình mới, tải thư viện chia sẻ, thực thi, liên kết động ...) sẽ lớn hơn rất nhiều so với việc biên dịch các biểu thức chính, vì vậy loại tối ưu hóa này sẽ rất ít ý nghĩa.

Mặc dù hãy xem Tại sao việc kết hợp chuỗi 1250 với các mẫu 90k lại chậm như vậy? về một lỗi trong một số phiên bản GNU grepsẽ khiến nó đặc biệt chậm đối với một số lượng lớn các biểu thức chính quy.

Có thể ở đây, bạn có thể tránh chạy grepnhiều lần bằng cách cho các khối của mình vào cùng một grepví dụ, bằng cách sử dụng nó như một đồng xử lý và sử dụng một điểm đánh dấu để phát hiện kết thúc. Với zshvà GNU grepvà awktriển khai khác hơn mawk:

coproc grep -E -f patterns -e '^@@MARKER@@$' --line-buffered
process_chunk() {
  { cat; echo @@MARKER@@; } >&p & awk '$0 == "@@MARKER@@"{exit};1' <&p
}
process_chunk < chunk1 > chunk1.grepped
process_chunk < chunk2 > chunk2.grepped

Mặc dù nó có thể đơn giản hơn để làm toàn bộ với awkhoặc perlthay vào đó.

Nhưng nếu bạn không cần grepđầu ra để đi vào các tệp khác nhau cho các khối khác nhau, bạn luôn có thể thực hiện:

{
  cat chunk1
  while wget -qO- ...; done # or whatever you use to fetch those chunks
  ...
} | grep -Ef patterns > output

Tôi không thể sử dụng grep trên tất cả các đầu vào vì đó là một luồng. Tôi có thể tích lũy một đoạn stream và sử dụng grep trên nó ...

Bạn có biết rằng đường ống chặn? Nếu bạn đặt một cái gì đó cho grep và tất cả đầu vào không có sẵn, grep sẽ đợi cho đến khi nó có sẵn và sau đó tiếp tục như thể đầu vào có ở đó cùng.

$ ( echo a1; echo b1; sleep 5; echo a2 ) | grep 'a.'
a1
a2

EDIT: Làm thế nào các đường ống hoạt động, ví dụ như cmd1 | cmd2là cả hai chương trình sẽ bắt đầu cùng một lúc, với một "bộ đệm chunk" 65,536 byte giữa chúng. Khi cmd2cố gắng đọc và bộ đệm đó trống, nó sẽ đợi một đoạn có sẵn. Khi cmd1cố gắng viết và bộ đệm đó đã đầy, nó sẽ đợi cho đến khi cmd2đọc nó.

Từ những gì tôi có thể đọc, không cần phải cắt đầu vào thành các đoạn và chuyển chúng sang grep riêng. Điều đó đã được thực hiện tự động.

EDIT2: grepcũng nên in kết quả ngay khi tìm thấy chúng trong luồng. Không cần cho luồng kết thúc trước khi bạn có thể nhận được kết quả của mình.

Có lẽ bạn có thể "sử dụng grep trên tất cả các đầu vào"? Sử dụng nc(netcat), hoặc thông qua script, hoặc thông qua các công cụ tương tự khác? Đặc biệt là nếu tệp mẫu của bạn có kích thước có thể quản lý được (giả sử dưới 1000 regexps).

Ví dụ đầu tiên : Bạn có thể egrepmột số kết nối phát trực tuyến: (ở đây mẫu được hiển thị với nc, nhưng những người khác có thể áp dụng)

prompt:/some/path $ nc somehost someport | egrep -f patternfile | gzip -c - > results.gz

# and while this is running, you can have a look at the growing results.gz:
prompt:/some/otherpath $ tail -f /some/path/results.gz | gzip -c - | less

(lưu ý: bạn thậm chí có thể: touch /some/path/results.gztrước khi bắt đầu nclệnh và có tail -ftệp (trống) đó để không bỏ lỡ bất cứ điều gì. Dù sao, results.gz sẽ chứa mọi thứ bạn muốn bắt)

ví dụ thứ hai : Bạn thậm chí có thể egreptrên phiên shell hiện đang chạy (và hiển thị một cách khác để theo dõi tiến trình):

#in 1 terminal:
prompt:/home/userA $ script
Script command is started. The file is typescript.
prompt:/home/userA $ 
 ... doing here whatever you want (start IRC? etc) ...
prompt:/home/userA $ ctrl-d # to end the current script session
Script command is complete. The file is typescript.

#and in another terminal, while you are "doing here whatever you want" :
prompt:/home/somewhere $ tail -f /home/userA/typescript | egrep -f patternfile  | tee /some/place/to/store/results.gz

egreplà một phiên bản hiệu quả cao của grep, trên hầu hết các hệ thống (xem một số infos xen kẽ trên: https://swtch.com/~rsc/regapi/regapid1.html )