Có thể trong bash, để bắt đầu đọc một tệp từ phần bù byte tùy ý?

Tôi muốn tìm một ngày ở đâu đó trong nhật ký 8 GB (văn bản).

Tôi có thể phần nào bỏ qua việc đọc tuần tự đầy đủ và trước tiên thực hiện phân chia nhị phân của tệp (kích thước) hoặc bằng cách nào đó điều hướng hệ thống tệp inodes(mà tôi biết rất ít), để bắt đầu đọc từ mỗi điểm phân tách, cho đến khi tôi tìm thấy phần bù phù hợp từ nơi để bắt đầu tìm kiếm văn bản của tôi cho một dòng ghi ngày tháng?

tailĐọc dòng cuối cùng không sử dụng đọc tuần tự bình thường, vì vậy tôi tự hỏi liệu cơ sở này có sẵn bằng cách nào đó trong bash không, hoặc tôi sẽ cần sử dụng Python hoặc C / C ++ ... nhưng tôi đặc biệt quan tâm đến một bashtùy chọn ..

for (( block = 0; block < 16; block += 1 ))
do 
    echo $block; 
    dd if=INPUTFILE skip=$((block*512))MB bs=64 count=1 status=noxfer 2> /dev/null | \
        head -n 1
done

trong đó .. không tạo các tệp phân chia tạm thời, bỏ qua các khối * 512 MB dữ liệu mỗi lần chạy, đọc 64 byte từ vị trí đó và giới hạn đầu ra ở dòng đầu tiên trong 64 byte đó.

bạn có thể muốn điều chỉnh 64 thành bất cứ điều gì bạn nghĩ bạn cần.

Nghe có vẻ như bạn muốn:

tail -c +1048576

hoặc bất cứ số byte nào bạn muốn bỏ qua. Dấu cộng cho biết đuôi để đo từ đầu tệp thay vì kết thúc. Nếu bạn đang sử dụng phiên bản đuôi của GNU, bạn có thể viết như sau:

tail -c +1M

Để có được số byte cố định sau khi cắt, thay vì tất cả phần còn lại của tệp, chỉ cần đưa nó qua đầu:

tail -c +1048576 | head -c 1024

Tôi sẽ thử một cái gì đó như thế này để chia nhật ký thành các đoạn 512MiB để phân tích cú pháp nhanh hơn.

split <filename> -b 536870912

Nếu bạn đang tìm kiếm các tập tin sau đây sẽ làm việc:

for file in x* ; do
  echo $file
  head -n 1 $file
done

Sử dụng đầu ra đó để xác định tập tin nào sẽ grep cho ngày của bạn.

Đây là kịch bản của tôi, tôi đang tìm dòng đầu tiên là trường đầu tiên khớp với số của tôi. Các dòng được sắp xếp theo trường đầu tiên. Tôi sử dụng dd để kiểm tra dòng đầu tiên của khối 128K, sau đó tôi nhảy đến khối và thực hiện tìm kiếm. Nó cải thiện hiệu quả là tập tin hơn 1M.

Bất kỳ bình luận hoặc chỉnh sửa được đánh giá cao!

#!/bin/bash

search=$1;
f=$2;

bs=128;

max=$( echo $(du $f | cut -f1)" / $bs" | bc );
block=$max;
for i in $(seq 0 $max); do
 n=$(dd bs=${bs}K skip=$i if=$f 2> /dev/null| head -2 | tail -1 | cut -f1)
 if [ $n -gt $search ]; then
  block=`expr $i - 1` 
  break;
 fi
done; 
dd bs=${bs}K skip=$block if=$f 2> /dev/null| tail -n +2 | awk -v search="$search" '$1==search{print;exit 1;};$1>search{exit 1;};';

* EDIT * ** grep nhanh hơn nhiều và ack thậm chí còn tốt hơn