Làm thế nào để có được ít hơn để tìm kiếm nhanh hơn với các tệp nhật ký lớn?

Tôi thường xử lý các tệp nhật ký cực lớn (> 3 GB). Tôi đã nhận thấy hiệu suất của ít hơn là khủng khiếp với các tệp này. Thường thì tôi muốn nhảy vào giữa tập tin, nhưng khi tôi nói ít hơn để nhảy về phía trước 15 dòng thì phải mất vài phút ..

Vấn đề tôi tưởng tượng là ít cần quét tệp để tìm các ký tự '\ n', nhưng việc này mất quá nhiều thời gian.

Có cách nào để làm cho nó chỉ tìm cách bù đắp rõ ràng? vd: tìm cách bù byte 1,5 tỷ trong tệp. Thao tác này phải là đơn đặt hàng có cường độ nhanh hơn. Nếu ít hơn không cung cấp khả năng như vậy, có công cụ nào khác không?

bạn có thể dừng ít hơn để đếm các dòng như thế này less -n

Để chuyển đến một địa điểm cụ thể như nói 50%, less -n +50p /some/logĐây là ngay lập tức đối với tôi trên tệp nhật ký 1,5 GB.

Chỉnh sửa: Đối với một byte bù cụ thể: less -n +500000000P ./blah.log

Ít hơn, là một máy nhắn tin, vốn đã được định hướng theo dòng. Khi bạn khởi động, nếu đó là một tệp lớn, nó sẽ nói "đếm số dòng" và bạn nhấn ESC để ngăn chặn điều đó, nhưng nếu không, nó sẽ có dòng. Đó là những gì nó làm.

Nếu bạn muốn nhảy thẳng vào giữa tập tin và bỏ qua phần đầu, bạn luôn có thể tìm kiếm quá khứ; Tôi sẽ làm một cái gì đó như tail -c +15000000 /some/log | less.

less dường như có một chi phí nhỏ từ cài đặt ngôn ngữ

Nếu bạn chỉ sử dụng các ký tự ASCII, bạn có thể tăng tốc nó lên một chút bằng cách sử dụng:

LC_ALL=C less big-log-file.log

Trong trường hợp của tôi, thông lượng tăng từ ~ 30M ib / s lên ~ 50 Mib / s (tốc độ bị ràng buộc CPU)