Phương pháp nhanh chóng tách chuỗi từ textfile?

Tôi có hai tệp văn bản: string.txt và lengths.txt

Chuỗi.txt:

abcdefghijklmnopqrstuvwxyz

lengths.txt

5
4
10
7

Tôi muốn lấy tập tin

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Tôi đang làm việc với khoảng 28.000 mục và chúng khác nhau giữa 200 và 56.000 ký tự.

Hiện tại, tôi đang sử dụng:

start=1
end=0
i=0
while read read_l
do
    let i=i+1
    let end=end+read_l
    echo -e ">Entry_$i" >>outfile.txt
    echo "$(cut -c$start-$end String.txt)" >>outfile.txt
    let start=start+read_l
    echo $i
done <lengths.txt

Nhưng nó rất không hiệu quả. Còn ý tưởng nào hay hơn không?

Bạn có thể làm

{
  while read l<&3; do
    {
      head -c"$l"
      echo
    } 3<&-
  done 3<lengths.txt
} <String.txt

Nó đòi hỏi một số lời giải thích:

Ý tưởng chính là sử dụng { head ; } <filevà được lấy từ câu trả lời bị đánh giá thấp @mikeerv . Tuy nhiên, trong trường hợp này, chúng tôi cần sử dụng nhiều heads, do đó whilevòng lặp được giới thiệu và một chút điều chỉnh với các mô tả tệp để chuyển đến headđầu vào từ cả hai tệp (tệp String.txtdưới dạng tệp chính để xử lý và chuyển từ length.txtlàm đối số sang -ctùy chọn) . Ý tưởng là lợi ích về tốc độ nên đến từ việc không cần tìm kiếm qua String.txtmỗi lần một lệnh giống như headhoặc cutđược gọi. Đây echochỉ là để in dòng mới sau mỗi lần lặp.

Bao nhiêu là nhanh hơn (nếu có) và thêm >Entry_igiữa các dòng được để lại như một bài tập.

Nói chung, bạn không muốn sử dụng các vòng lặp shell để xử lý văn bản . Ở đây, tôi sẽ sử dụng perl:

$ perl -lpe 'read STDIN,$_,$_; print ">Entry_" . ++$n' lengths.txt < string.txt
>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Đó là một lệnh, đọc (với bộ đệm rất hiệu quả hơn readlệnh của shell đọc một byte (hoặc một vài byte cho các tệp thông thường) tại một thời điểm) cả hai tệp chỉ một lần (mà không lưu trữ chúng đầy đủ trong bộ nhớ), vì vậy sẽ có một số đơn đặt hàng có cường độ hiệu quả hơn các giải pháp chạy các lệnh bên ngoài trong một vòng lặp shell.

(thêm -Ctùy chọn nếu các số đó phải là số ký tự trong ngôn ngữ hiện tại trái ngược với số byte. Đối với các ký tự ASCII như trong mẫu của bạn, điều đó sẽ không tạo ra bất kỳ sự khác biệt nào).

bash, phiên bản 4

mapfile -t lengths <lengths.txt
string=$(< String.txt)
i=0 
n=0
for len in "${lengths[@]}"; do
    echo ">Entry_$((++n))"
    echo "${string:i:len}"
    ((i+=len))
done

đầu ra

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Thế còn awk?

Tạo một tệp được gọi process.awkvới mã này:

function idx(i1, v1, i2, v2)
{
     # numerical index comparison, ascending order
     return (i1 - i2)
}
FNR==NR { a[FNR]=$0; next }
{ i=1;PROCINFO["sorted_in"] = "idx";
        for (j in a) {
                print ">Entry"j;
                ms=substr($0, i,a[j])
                print ms
                i=i+length(ms)
        }
}

Lưu nó và thực hiện awk -f process.awk lengths.txt string.txt