Hợp nhất hai tập tin theo từng dòng với ký hiệu đường ống ba dấu phân cách | |

Tôi có hai tệp song song có cùng số dòng trong hai ngôn ngữ và dự định hợp nhất hai tệp này theo dòng với dấu phân cách |||. Ví dụ, hai tệp như sau:

Tập tin:

1Mo 1,1 I love you.
1Mo 1,2 I like you.
Hi 1,3 I am hungry.
Hi 1,4 I am foolish.

Tệp B:

1Mo 1,1 Ich liebe dich.
1Mo 1,2 Ich mag dich.
Hi 1,3 Ich habe Durst.
Hi 1,4 Ich bin neu.

Sản lượng dự kiến ​​là như thế này:

1Mo 1,1 I love you. ||| 1Mo 1,1 Ich liebe dich.
1Mo 1,2 I like you. ||| 1Mo 1,2 Ich mag dich.
Hi 1,3 I am hungry. ||| Hi 1,3 Ich habe Durst.
Hi 1,4 I am foolish. ||| Hi 1,4 Ich bin neu.

Tôi đã thử pastelệnh như:

paste -d "|||" fileA fileB

Nhưng đầu ra được trả lại chỉ chứa một ống như:

1Mo 1,1 I love you. |1Mo 1,1 Ich liebe dich.
1Mo 1,2 I like you. |1Mo 1,2 Ich mag dich.

Có cách nào để tách từng cặp đường bằng ống tripe |||không?

Với dán POSIX :

:|paste -d ' ||| ' fileA - - - - fileB

pastesẽ nối các dòng tương ứng của tất cả các tệp đầu vào. Ở đây chúng tôi có sáu tệp, fileAbốn tệp giả từ tiêu chuẩn trong -và fileB.

Danh sách các dấu phân cách bao gồm một khoảng trắng, ba đường ống và một khoảng trắng theo thứ tự đó sẽ được sử dụng theo pastevòng tròn.

Đối với dòng đầu tiên gồm sáu tệp, fileAsẽ được nối với tệp giả đầu tiên (không có gì, cảm ơn toán tử no-op :), sản xuất line1-fileA<space>.

Tệp giả thứ nhất sẽ được nối với ống thứ hai bằng một đường ống, tạo ra line1-fileA |, sau đó tệp giả thứ hai với tệp giả thứ ba, tạo ra line1-fileA ||, tệp giả thứ ba với tệp giả thứ ba, tạo ra line1-fileA |||.

Và các tập tin giả thứ tư với fileB, sản xuất line1-fileA ||| line1-fileB.

Những bước đó sẽ được lặp lại cho tất cả các dòng, cung cấp cho bạn kết quả mong đợi.

Việc sử dụng :|là để gõ ít hơn và chủ yếu sử dụng trong vỏ tương tác. Trong một tập lệnh, bạn nên sử dụng:

</dev/null paste -d ' ||| ' fileA - - - - fileB

để ngăn chặn một subshell khỏi sinh sản.

Chà, điều này không sử dụng sed, awk hoặc grep, nhưng bạn có thể làm điều đó khá dễ dàng trong bash. Lệnh là:

(while IFS= read -r a <&3 && IFS= read -r b <&4; do echo "$a ||| $b"; done) 3<fileA 4<fileB

Vấn đề với dán là dấu phân cách là một ký tự đơn. Bạn cũng có thể chèn một ký tự đơn và sử dụng sed để chuyển đổi nó, nhưng đó sẽ là loại dễ bị lỗi nếu ký tự đã xuất hiện trong tệp đầu vào.

Phiên bản awk (GNU)

awk '{printf ("%s ||| ", $0); getline < "fileB"; print $0 }' fileA

Với getlinelệnh in awk, bạn có thể đặt $0(tất cả các biến cho các cột) từ bản ghi đầu vào tiếp theo, nếu getline < "filename"bạn đặt tiếp theo$0 từ tệp đã chỉ định.

getline <"file" Đặt $ 0 từ bản ghi tệp tiếp theo; đặt NF.

Tại sao nỗ lực của bạn không hoạt động như bạn mong đợi? Từ man pastechúng ta có thể đọc

-d, --delimiters=LIST
     reuse characters from LIST instead of TABs

nhưng nó sử dụng một dấu phân cách cho mỗi cột .

Vì vậy, lệnh
paste -d '|*|*' fileA fileB fileA fileBcho tôi các dòng như

Hi 1,3 I am hungry.|Hi 1,3 Ich habe Durst.*Hi 1,3 I am hungry.|Hi 1,3 Ich...
Hi 1,4 I am foolish.|Hi 1,4 Ich bin neu.*Hi 1,4 I am foolish.|Hi 1,4 Ich...

Một sedgiải pháp mà tôi đề nghị nên tránh ngay cả khi gần với nỗ lực ban đầu của bạn, bởi vì nó vá hành vi thu được vào mục đích ban đầu của bạn:

 paste -d '|' fileA fileB | sed 's/|/|||/g'

Để tránh vì bạn thay thế từng mẫu |bằng mẫu mới |||, nhưng bạn phải giả sử rằng ký hiệu ống ( |) không có trong dữ liệu của bạn , nếu không bạn phải xử lý các trường hợp đặc biệt và tạo mã phức tạp hơn để tránh tác dụng phụ.

Một biến thể với cấu trúc Here String [ 1 ]<<<

 paste -d ' ||| ' fileA - - - - fileB  <<< ''

Bạn đặt 5 dấu phân cách với -d ' ||| '( dấu cách , |, |, |, dấu cách) và 4 tệp giả ( - - - -) sẽ lấy dữ liệu từ chuỗi trống ''.

_{Đã thử nghiệm trên GNU Awk 4.0.1, dán (GNU coreutils) 8.21 và sed (GNU sed) 4.2.2}

Nếu bạn muốn tránh sự kỳ diệu và kịch tính của các dấu phân cách tròn và các tệp giả, bạn chỉ có thể nối thêm dấu phân cách của bạn vào một tệp trước khi dán chúng:

paste <(sed 's/$/ |||/' filea) fileb

cho

1Mo 1,1 I love you. ||| 1Mo 1,1 Ich liebe dich.
1Mo 1,2 I like you. ||| 1Mo 1,2 Ich mag dich.
Hi 1,3 I am hungry. ||| Hi 1,3 Ich habe Durst.
Hi 1,4 I am foolish. |||    Hi 1,4 Ich bin neu.

bạn cũng có thể làm điều đó với python.

lines1 = [ line.rstrip() for line in open("file1") ]
lines2 = [ line.rstrip() for line in open("file2") ]
for i in xrange((len(lines1))): print lines1[i] + " ||| " + lines2[i]
... 
1Mo 1,1 I love you. ||| 1Mo 1,1 Ich liebe dich.
1Mo 1,2 I like you. ||| 1Mo 1,2 Ich mag dich.
Hi 1,3 I am hungry. ||| Hi 1,3 Ich habe Durst.
Hi 1,4 I am foolish. ||| Hi 1,4 Ich bin neu.