Grep làm gì khi nó không chạy CPU?

Khi tìm kiếm kết grepquả trùng khớp , tôi thường nhận thấy rằng lần tìm kiếm tiếp theo mất ít thời gian hơn đáng kể so với lần đầu tiên - ví dụ 25 giây so với 2 giây. Rõ ràng, không phải bằng cách sử dụng lại các cấu trúc dữ liệu từ lần chạy cuối cùng của nó-- những cấu trúc đó đã bị loại bỏ. Chạy một timelệnh trên grep, tôi nhận thấy một hiện tượng thú vị:

real    24m36.561s
user    1m20.080s
sys     0m7.230s

Phần còn lại của thời gian đi đâu? Có điều gì tôi có thể làm để làm cho nó chạy nhanh mỗi lần không? (ví dụ: có một quá trình khác đọc các tệp, trước khi greptìm kiếm chúng.)

Nó thường khá liên quan đến bộ đệm trang .

Lần đầu tiên, dữ liệu phải được đọc (vật lý) từ đĩa.

Lần thứ hai (đối với các tệp không quá lớn) có khả năng nó sẽ nằm trong bộ đệm của trang.

Vì vậy, trước tiên bạn có thể đưa ra một lệnh như cat (1) để đưa tệp (không quá lớn) vào bộ đệm trang (tức là trong RAM), sau đó một grep thứ hai (1) (hoặc bất kỳ chương trình nào đọc tệp) thường chạy nhanh hơn .

^{(tuy nhiên, dữ liệu vẫn cần được đọc từ đĩa vào một lúc nào đó)}

Xem thêm (đôi khi hữu ích trong các chương trình ứng dụng của bạn, nhưng thực tế hiếm khi) readahead (2) & posix_fadvise (2) và có lẽ madvise (2) & sync (2) & fsync (2), v.v ....

Đọc thêm LinuxAteMyRAM .

BTW, đây là lý do tại sao nó được khuyến nghị, khi điểm chuẩn một chương trình, để chạy nó nhiều lần. Ngoài ra, đây là lý do tại sao có thể hữu ích để mua thêm RAM (ngay cả khi bạn không chạy các chương trình sử dụng tất cả dữ liệu đó cho dữ liệu của họ).

Nếu bạn muốn hiểu thêm, hãy đọc một số cuốn sách như, ví dụ như Hệ điều hành: Ba mảnh dễ dàng

Trong môi trường lưu trữ mạng, cũng có thể có độ trễ tương đối đáng kể khi bạn truy cập lần đầu vào một tệp nằm trên "trình quay" tách biệt với máy chủ. Khi tệp đó đã được truy cập trên máy chủ, nó sẽ được lưu trữ cục bộ và việc truy cập dữ liệu tiếp theo sẽ nhanh hơn nhiều.

Đây là một thử nghiệm chỉ tính toán tổng kiểm tra dữ liệu tệp - không phải grep. Yêu cầu đầu tiên là chậm, và những lần tiếp theo là nhanh chóng.

> du -Dh file_348m
348M    file_348m

> /usr/bin/time md5sum file_348m
738709b181b52ddfcef3413997f91462  file_348m
0.60user 0.15system 0:03.02elapsed 25%CPU (0avgtext+0avgdata 1524maxresident)k
708144inputs+0outputs (0major+80minor)pagefaults 0swaps

> /usr/bin/time md5sum file_348m
738709b181b52ddfcef3413997f91462  file_348m
0.67user 0.06system 0:00.73elapsed 99%CPU (0avgtext+0avgdata 1524maxresident)k
0inputs+0outputs (0major+80minor)pagefaults 0swaps

> /usr/bin/time md5sum file_348m
738709b181b52ddfcef3413997f91462  file_348m
0.65user 0.07system 0:00.73elapsed 99%CPU (0avgtext+0avgdata 1524maxresident)k
0inputs+0outputs (0major+80minor)pagefaults 0swaps

> /usr/bin/time md5sum file_348m
738709b181b52ddfcef3413997f91462  file_348m
0.66user 0.06system 0:00.73elapsed 99%CPU (0avgtext+0avgdata 1524maxresident)k
0inputs+0outputs (0major+80minor)pagefaults 0swaps