Thay thế chuỗi chứa dòng mới trong tệp lớn

Bất cứ ai cũng biết về một công cụ không dựa trên dòng để tìm kiếm / thay thế chuỗi "nhị phân" theo cách có hiệu quả bộ nhớ? Xem câu hỏi này quá.

Tôi có tệp văn bản + 2GB mà tôi muốn xử lý tương tự như những gì điều này dường như làm:

sed -e 's/>\n/>/g'

Điều đó có nghĩa là, tôi muốn xóa tất cả các dòng mới xảy ra sau một >, nhưng không phải bất cứ nơi nào khác, để loại trừ tr -d.

Lệnh này (mà tôi nhận được từ câu trả lời của một câu hỏi tương tự ) không thành công với couldn't re-allocate memory:

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

Vì vậy, có phương pháp nào khác mà không dùng đến C? Tôi ghét perl, nhưng sẵn sàng tạo một ngoại lệ trong trường hợp này :-)

Tôi không biết chắc chắn về bất kỳ ký tự nào không xảy ra trong dữ liệu, vì vậy việc thay thế tạm thời \nbằng một ký tự khác là điều tôi muốn tránh nếu có thể.

Bất cứ ý tưởng tốt, bất cứ ai?

Điều này thực sự là tầm thường trong Perl, bạn không nên ghét nó!

perl -i.bak -pe 's/>\n/>/' file

Giải trình

• -i: chỉnh sửa tệp tại chỗ và tạo bản sao lưu của bản gốc được gọi file.bak. Nếu bạn không muốn sao lưu, chỉ cần sử dụng perl -i -pethay thế.
• -pe: đọc từng dòng tệp đầu vào và in từng dòng sau khi áp dụng tập lệnh được cung cấp dưới dạng -e.
• s/>\n/>/: sự thay thế, giống như sed.

Và đây là một awkcách tiếp cận:

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

Một perlgiải pháp:

$ perl -pe 's/(?<=>)\n//'

Giải thích

• s/// được sử dụng để thay thế chuỗi.
• (?<=>) là mô hình lookbehind.
• \n phù hợp với dòng mới.

Toàn bộ ý nghĩa mẫu loại bỏ tất cả các dòng mới có >trước nó.

Còn cái này thì sao:

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

Đối với GNU sed, bạn cũng có thể thử thêm tùy chọn -u( --unbuffered) theo câu hỏi. GNU sed cũng hài lòng với điều này như một lớp lót đơn giản:

sed ':loop />$/ { N; s/\n//; b loop }' file

Bạn sẽ có thể sử dụng sedvới Nlệnh, nhưng mẹo sẽ là xóa một dòng khỏi không gian mẫu mỗi lần bạn thêm một dòng khác (để không gian mẫu luôn chỉ chứa 2 dòng liên tiếp, thay vì cố gắng đọc toàn bộ tập tin) - thử

sed ':a;$!N;s/>\n/>/;P;D;ba'

EDIT: sau khi đọc lại bài hát Một người nổi tiếng quyến rũ của Peteris Krumins Giải thích tôi tin rằng một sedgiải pháp tốt hơn sẽ là

sed -e :a -e '/>$/N; s/\n//; ta'

trong đó chỉ nối dòng sau trong trường hợp đã >kết thúc khớp và nên lặp lại một cách có điều kiện để xử lý trường hợp các dòng khớp liên tiếp (đó là 39 của Krumin. Nối một dòng vào dòng tiếp theo nếu kết thúc bằng dấu gạch chéo ngược "\" chính xác ngoại trừ việc thay thế >cho \là ký tự nối và thực tế là ký tự nối được giữ lại ở đầu ra).

sedkhông cung cấp cách phát ra đầu ra mà không có dòng mới. Cách tiếp cận của bạn sử dụng Ncác công việc cơ bản, nhưng lưu trữ các dòng không đầy đủ trong bộ nhớ và do đó có thể thất bại nếu các dòng trở nên quá dài (ngụ ý sed thường không được thiết kế để xử lý các dòng cực dài).

Bạn có thể sử dụng awk thay thế.

awk '{if (/<$/) printf "%s", $0; else print}'

Một cách tiếp cận khác là sử dụng trđể hoán đổi nhân vật dòng mới với một nhân vật nhàm chán, thường xuyên xuất hiện. Không gian có thể hoạt động ở đây - chọn một ký tự có xu hướng xuất hiện trên mỗi dòng hoặc ít nhất là một tỷ lệ lớn các dòng trong dữ liệu của bạn.

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

Còn việc sử dụng ed thì sao?

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

(thông qua http://wiki.bash-hackers.org/howto/edit-ed )

Tôi đã kết thúc bằng cách sử dụng gsar như được mô tả trong câu trả lời như thế này:

gsar -F '-s>:x0A' '-r>'

Có rất nhiều cách để làm điều này, và hầu hết ở đây thực sự tốt, nhưng tôi nghĩ đây là cách yêu thích của tôi:

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

Hoặc thậm chí:

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'