Biến danh sách thành một dòng với dấu phân cách

Tôi phải lấy một danh sách (tải) địa chỉ IP theo định dạng này:

 134.27.128.0
 111.245.48.0
 109.21.244.0

và biến chúng thành định dạng này với một đường ống ở giữa (IP được tạo thành)

134.27.128.0 | 111.245.48.0 | 109.21.244.0 | 103.22.200.0/22

Tôi nghĩ rằng đó là một lệnh tìm và thay thế như thế sednhưng tôi không thể làm cho nó hoạt động được.

Sử dụng sed, dựa trên Nổi tiếng Sed One-Liners Giải thích, Phần I: : 39. Nối một dòng vào sau nếu nó kết thúc với một dấu chéo ngược "\" (ngoại trừ ở đây chúng ta bỏ qua những phần về xuyệc ngược, và thay thế các \ndòng mới với |dải phân cách yêu cầu ):

sed -e :a -e '$!N; s/\n/ | /; ta' mydoc > mydoc2

nên sản xuất trong mydoc2

134.27.128.0 |  111.245.48.0 |  109.21.244.0

Tôi tò mò muốn xem một số trong số này (+ một số lựa chọn thay thế) hoạt động nhanh như thế nào với một tệp khá lớn ( 163MiB, IPmỗi tệp trên một dòng, ~ 13 triệu dòng):

wc -l < iplist
13144256

Kết quả (với sync; echo 3 > /proc/sys/vm/drop_cachessau mỗi lệnh; tôi lặp lại các thử nghiệm - theo thứ tự ngược lại - sau một vài giờ nhưng sự khác biệt là không đáng kể; cũng lưu ý rằng tôi đang sử dụng gnu sed):

Người thép :
Rất chậm. Bị hủy bỏ sau hai phút chờ đợi ... vì vậy không có kết quả nào cho việc này.

cuonglm :

awk 'FNR!=1{print l}{l=$0};END{ORS="";print l}' ORS=' | ' iplist

real    0m3.672s

perl -pe 's/\n/ | / unless eof' iplist

real    0m12.444s

mikeerv :

paste -d\  /dev/null iplist /dev/null | paste -sd\| - 

real    0m0.983s

tháng năm :

sed 'H;1h;$!d;x;s/\n/ | /g' iplist

real    0m4.903s

Avinash Raj :

time python2.7 -c'
import sys
with open(sys.argv[1]) as f:
    print " | ".join(line.strip() for line in f)' iplist

real    0m3.434s

và

val0x00ff :

while read -r ip; do printf '%s | ' "$ip"; done < iplist

real    3m4.321s

mà phương tiện 184.321s. Không có gì đáng ngạc nhiên, điều này chậm hơn 200 lần so với giải pháp của mikeerv .

Đây là một số cách khác với
awk:

awk '$1=$1' RS= OFS=' | ' iplist

real    0m4.543s

awk '{printf "%s%s",sep,$0,sep=" | "} END {print ""}' iplist

real    0m5.511s

perl:

perl -ple '$\=eof()?"\n":" | "' iplist

real    0m9.646s

xargs:

xargs <iplist printf ' | %s' | cut -c4-

real    0m6.326s

sự kết hợp của đầu + dán + tr + mèo:

{ head -n -1 | paste -d' |' - /dev/null /dev/null | tr \\n \ ; cat ; } <iplist

real    0m0.991s

Nếu bạn có GNU coreutilsvà nếu danh sách IP của bạn không thực sự lớn (giả sử lên tới 50000 IP), bạn cũng có thể làm điều này với pr:

pr -$(wc -l infile) -tJS' | ' -W1000000 infile >outfile

Ở đâu

-$(wc -l infile)         # no. of columns (= with no. of lines in your file)
-t                       # omit page headers and trailers
-J                       # merge lines
-S' | '                  # separate columns by STRING
-W1000000                # set page width

ví dụ: đối với tệp 6 dòng:

134.28.128.0
111.245.28.0
109.245.24.0
128.27.88.0
122.245.48.0
103.44.204.0

lệnh:

pr -$(wc -l <infile) -tJS' | ' -W1000 infile

đầu ra:

134.28.128.0 | 111.245.28.0 | 109.245.24.0 | 128.27.88.0 | 122.245.48.0 | 103.44.204.0

Bạn có thể sử dụng awk :

awk 'FNR!=1{print l}{l=$0};END{ORS="";print l}' ORS=' | ' file > new_file

ORS=' | 'thiết lập các separator kỷ lục sản lượng để ' | 'thay cho dòng mới.

hoặc chỉnh sửa tại chỗ với perl:

perl -pe 's/\n/ | / unless eof' file

Vì vậy, tôi đã hoàn toàn sai - và câu hỏi này đã dạy tôi rất nhiều về paste. Như cuonglm ghi chú chính xác, trừ khi bạn có pastemột tệp trong -serial, bạn sẽ luôn kết thúc với \newline cuối cùng từ danh sách lưu trữ của bạn được thêm vào đầu ra khi nó được viết. Tôi đã nhầm lẫn khi tin rằng paste -shành vi là chế độ mặc định của nó - và đây là một quan niệm sai lầm, rõ ràng busybox pastelà rất vui khi củng cố. Lệnh sau không hoạt động như quảng cáo w / busybox:

paste -d'|  ' - - infile </dev/null >outfile

Nó không hoạt động theo thông số kỹ thuật, mặc dù. Một triển khai chính xác pastevẫn sẽ nối thêm một \newline kéo dài cho mỗi chuỗi được viết. Tuy nhiên, đó không phải là vấn đề lớn sau tất cả:

paste -d\  - infile - </dev/null | paste -sd\| - >outfile

Tận dụng vim :

vim -n -u NONE -c '1,$-1s/\n/ | /g|wq!' data

Giải trình:

-n vô hiệu hóa tập tin trao đổi

-u NONE được sử dụng để bỏ qua tất cả các khởi tạo.

-c {command} thực hiện các lệnh sau khi tập tin đã được đọc.

1,$-1s/\n/ | /glà s/\n/ | /g(thay thế dòng mới bằng không gian ống không gian) cho phạm vi 1,$-1s(dòng thứ nhất đến dòng cuối cùng - 1)

wq! buộc viết và bỏ

Ghi chú:

Tùy thuộc vào mức độ lớn của tập tin của bạn, đây có thể là một ý tưởng tồi.

một lớp lót với tr và sed:

cat file | tr '\n' '|' | sed 's/||$/\n/'
134.27.128.0|111.245.48.0|109.21.244.0

Qua trăn.

$ python -c '
import sys
with open(sys.argv[1]) as f:
    print " | ".join(line.strip() for line in f)' file

không gian trước đây printlà rất quan trọng.

Đây là một cái khác sử dụng xxd

xxd -c1 -ps data | sed '$!s/0a/207c20/' | xxd -r -ps

Để hoàn thiện, đây là một awkgiải pháp dựa trên cơ sở khác , giải pháp này hoàn toàn không sử dụng ORS:

awk 'BEGIN { ORS="" } { print p$0; p=" | " } END { print "\n" }' file > new_file

Để được giải thích, hãy xem bài đăng của tôi tại /unix//a/338121/117599 .