Nối các dòng văn bản với bắt đầu lặp lại

Tôi có một tệp văn bản dài (một tệp tab cho trình soạn thảo stardict) bao gồm các dòng theo định dạng sau:

word1  some text
word1  some other text
word2  more text
word3  even more

và muốn chuyển đổi nó thành

word1  some text<br>some other text
word2  more text
word3  even more

Điều này có nghĩa là các dòng tiếp theo (tệp được sắp xếp) bắt đầu bằng cùng một từ nên được hợp nhất với một từ duy nhất (ở đây các định nghĩa được phân tách bằng <br>). Các dòng có khởi đầu bằng nhau cũng có thể xuất hiện thường xuyên hơn chỉ hai lần. Ký tự phân tách từ và định nghĩa là ký tự tab và là duy nhất trên mỗi dòng. word1, word2, word3Là của placeholders khóa học cho một cái gì đó tùy ý (trừ tab và ký tự xuống dòng) mà tôi không biết trước.

Tôi có thể nghĩ về một đoạn mã Perl dài hơn để thực hiện điều này, nhưng tự hỏi liệu có một giải pháp ngắn nào trong Perl hoặc một cái gì đó cho dòng lệnh. Có ý kiến ​​gì không?

Đây là quy trình chuẩn cho awk

awk '
{
  k=$2
  for (i=3;i<=NF;i++)
    k=k " " $i
  if (! a[$1])
    a[$1]=k
  else
    a[$1]=a[$1] "<br>" k
}
END{
  for (i in a)
    print i "\t" a[i]
}' long.text.file

Nếu tập tin được sắp xếp theo từ đầu tiên trong dòng thì tập lệnh có thể đơn giản hơn

awk '
{
  if($1==k)
    printf("%s","<br>")
  else {
    if(NR!=1)
      print ""
    printf("%s\t",$1)
  }
  for(i=2;i<NF;i++)
    printf("%s ",$i)
  printf("%s",$NF)
  k=$1
}
END{
print ""
}' long.text.file

Hoặc chỉ bash

unset n
while read -r word definition
do
    if [ "$last" = "$word" ]
    then
        printf "<br>%s" "$definition"
    else 
        if [ "$n" ]
        then
            echo
        else
            n=1
        fi
        printf "%s\t%s" "$word" "$definition"
        last="$word"
     fi
done < long.text.file
echo

perl -p0E 'while(s/^((.+?)\t.*)\n\2\t/$1<br>/gm){}' 

(Phải mất 2 giây để xử lý từ điển 23 MB, 1,5Mlines, trong máy tính xách tay cũ 6 năm của tôi)

Với sed:

sed '$!N;/^\([^\t]*\t\)\(.*\)\(\n\)\1/!P;s//\3\1\2<br>/;D' <<\IN
word1  some text
word1  some other text
word1  some other other text
word2  more text
word3  even more
word3  and still more
IN

(lưu ý: với nhiều seds, \tlối thoát trên không hợp lệ và <tab>nên sử dụng ký tự chữ

Và nếu bạn có GNU, sedbạn có thể viết nó dễ dàng hơn một chút:

sed -E '$!N;/^(\S+\t)(.*)\n\1/!P;s//\n\1\2<br>/;D' <infile

Nó hoạt động bằng cách xếp chồng dần dần đầu vào khi nó được đọc. Nếu hai dòng liên tiếp không bắt đầu bằng cùng một chuỗi không gian, thì dòng đầu tiên trong số này được tô màu P. Khác dòng mới can thiệp được di chuyển đến đầu của dòng và chuỗi phù hợp ngay sau nó (để bao gồm các tab) được thay thế w / chuỗi <br>.

Lưu ý rằng phương pháp xếp chồng được sử dụng ở đây có thể có ý nghĩa về hiệu suất nếu dòng sedlắp ráp phát triển rất dài. Nếu nó phát triển dài hơn 8kb thì nó sẽ vượt quá kích thước bộ đệm không gian mẫu tối thiểu được chỉ định bởi POSIX.

Bất kể khả năng nào trong hai khả năng xảy ra, cuối cùng của tất cả các sed Delip cho đến \nký tự ewline xuất hiện đầu tiên trong không gian mẫu và bắt đầu lại với những gì còn lại. Và do đó, khi hai dòng liên tiếp không bắt đầu bằng các chuỗi giống hệt nhau thì chuỗi đầu tiên được in và xóa, thay vào đó, việc thay thế được thực hiện và Delete chỉ xóa \newline trước đó đã tách chúng.

Và vì vậy, lệnh trên in:

word1  some text<br>some other text<br>some other other text
word2  more text
word3  even more<br>and still more

Tôi đã sử dụng một <<\HERE_DOCđầu vào ở trên, nhưng có lẽ bạn nên bỏ mọi thứ từ <<\INtrên và sử dụng </path/to/infilethay thế.

Đây thực sự là tiêu chuẩn cho awk. Đây là một giải pháp ngắn gọn không thay đổi dữ liệu vận hành:

awk 'BEGIN { FS="\t" }
     $1!=key { if (key!="") print out ; key=$1 ; out=$0 ; next }
     { out=out"<br>"$2 }
     END { print out }'

Trong trăn:

import sys

def join(file_name, join_text):
    prefix = None
    current_line = ''
    for line in open(file_name):
        if line and line[-1] == '\n':
            line = line[:-1]
        try:
            first_word, rest = line.split('\t', 1)
        except:
            first_word = None  # empty line or one without tab
            rest = line
        if first_word == prefix:
            current_line += join_text + rest
        else:
            if current_line:
                print current_line
            current_line = line
            prefix = first_word

    if current_line:  # do the last line(s)
        print current_line


join(sys.argv[2], sys.argv[1])

Điều này hy vọng dấu phân cách ( <br>) là đối số đầu tiên cho chương trình và tên tệp là đối số thứ hai

thử

awk 'BEGIN { before="" } 
{ if ( $1 == before ) { $1="" ; printf "<br>%s",$0 ; } 
  else { printf "\n%s",$0 ;} ; before=$1 ; } 
END { printf "\n"  ;}'

cung cấp cho đầu vào của bạn

word1  some text<br> some other text
word2  more text
word3  even more

tha awk về cơ bản nhớ từ đầu tiên trên dòng trước và không in dòng mới.