Tìm kiếm nhị phân trong một tệp văn bản được sắp xếp

Tôi có một tập tin được sắp xếp lớn với hàng tỷ dòng có độ dài thay đổi. Đưa ra một dòng mới, tôi muốn biết số byte nào sẽ nhận được nếu nó được bao gồm trong tệp được sắp xếp.

Thí dụ

a\n
c\n
d\n
f\n
g\n

Với đầu vào 'foo', tôi sẽ nhận được đầu ra 9.

Điều này rất dễ thực hiện bằng cách chỉ cần đi qua toàn bộ tệp, nhưng là hàng tỷ dòng có độ dài thay đổi sẽ nhanh hơn để thực hiện tìm kiếm nhị phân.

Liệu một công cụ xử lý văn bản như vậy đã tồn tại?

Biên tập:

Hiện tại: https://gitlab.com/ole.tange/tangetools/blob/master/bsearch/bsearch

Tôi không biết một số công cụ tiêu chuẩn làm việc này. Tuy nhiên bạn có thể viết của riêng bạn. Ví dụ kịch bản ruby ​​sau đây nên thực hiện công việc.

file, key = ARGV.shift, ARGV.shift
min, max = 0, File.size(file)

File.open(file) do |f|
  while max-min>1 do
    middle = (max+min)/2
    f.seek middle
    f.readline
    if f.eof? or f.readline>=key
      max = middle
    else
      min = middle
    end
  end
  f.seek max
  f.readline
  p f.pos+1
end

Có một chút khó khăn vì sau khi tìm kiếm, bạn thường ở giữa một số dòng và do đó cần phải thực hiện một dòng đọc để đến đầu dòng sau, bạn có thể đọc và so sánh với khóa của mình.

(Đây không phải là một câu trả lời chính xác cho câu hỏi của bạn, chỉ là một điểm khởi đầu.)

Tôi đã sử dụng sgrep (grep được sắp xếp) trong một tình huống tương tự.

Thật không may (chúng ta cần trạng thái hiện tại) nó không có đầu ra bù byte; nhưng tôi nghĩ rằng nó có thể dễ dàng được thêm vào.

Dựa trên giải pháp Michas ở đây là một chương trình hoàn chỉnh hơn:

https://gitlab.com/ole.tange/tangetools/blob/master/bsearch/bsearch