Thêm dòng vào đầu và cuối của tệp lớn

Tôi có kịch bản trong đó các dòng sẽ được thêm vào lúc bắt đầu và kết thúc các tệp lớn.

Tôi đã thử như hình dưới đây.

• cho dòng đầu tiên:

  sed -i '1i\'"$FirstLine" $Filename

• cho dòng cuối cùng:

  sed -i '$ a\'"$Lastline" $Filename  

Nhưng vấn đề với lệnh này là nó đang nối thêm dòng đầu tiên của tệp và duyệt qua toàn bộ tệp. Đối với dòng cuối cùng, nó lại đi qua toàn bộ tệp và nối thêm một dòng cuối cùng. Vì tệp rất lớn của nó (14GB) nên việc này mất nhiều thời gian.

Làm cách nào tôi có thể thêm một dòng vào đầu và một dòng khác vào cuối tệp trong khi chỉ đọc tệp một lần?

sed -isử dụng tempfiles như một chi tiết triển khai, đó là những gì bạn đang gặp phải; tuy nhiên, việc chuẩn bị dữ liệu vào đầu luồng dữ liệu mà không ghi đè lên nội dung hiện có yêu cầu viết lại tệp, không có cách nào khắc phục điều đó, ngay cả khi tránh sed -i.

Nếu viết lại tệp không phải là một tùy chọn, bạn có thể xem xét thao tác với tệp khi nó được đọc, ví dụ:

{ echo some prepended text ; cat file ; } | command

Ngoài ra, sed là để chỉnh sửa luồng - một tệp không phải là luồng. Sử dụng một chương trình dành cho mục đích này, như ed hoặc ex. Các-i tùy chọn để sed là không chỉ không di động, nó cũng sẽ phá vỡ bất kỳ liên kết tượng trưng đến tập tin của bạn, vì nó về cơ bản xóa nó và tái tạo lại nó, mà là vô nghĩa.

Bạn có thể làm điều này trong một lệnh duy nhất với ednhư vậy:

ed -s file << 'EOF'
0a
prepend these lines
to the beginning
.
$a
append these lines
to the end
.
w
EOF

Lưu ý rằng tùy thuộc vào việc bạn thực hiện ed, nó có thể sử dụng tệp hoán trang, yêu cầu bạn phải có ít nhất dung lượng đó.

Lưu ý rằng nếu bạn muốn tránh phân bổ toàn bộ bản sao của tệp trên đĩa, bạn có thể thực hiện:

sed '
1i\
begin
$a\
end' < file 1<> file

Điều đó sử dụng thực tế là khi stdin / stdout của nó là một tệp, sed đọc và ghi theo khối. Vì vậy, ở đây, bạn có thể ghi đè lên tệp mà nó đang đọc miễn là dòng đầu tiên bạn thêm nhỏ hơn sedkích thước khối (nên là 4k hoặc 8k).

Lưu ý rằng nếu vì một lý do nào đó sedkhông thành công (bị giết, sự cố máy ...), bạn sẽ kết thúc với một nửa tệp được xử lý, điều đó có nghĩa là một số dữ liệu kích thước của dòng đầu tiên bị thiếu ở đâu đó ở giữa.

Cũng lưu ý rằng trừ khi bạn sedlà GNU sed, điều đó sẽ không hoạt động đối với dữ liệu nhị phân (nhưng vì bạn đang sử dụng -i, nên bạn đang sử dụng GNU sed).

Dưới đây là một số lựa chọn (tất cả sẽ tạo một bản sao mới của tệp để đảm bảo bạn có đủ không gian cho việc đó):

• tiếng vang / mèo đơn giản

  echo "first" > new_file; cat $File >> new_file; \
    echo "last" >> new_file; 

• awk / gawk vv

  gawk 'BEGIN{print "first\n"}{print}END{print "last\n"}' $File > NewFile 

  awkvà ilk của nó đọc các tập tin theo từng dòng. Các BEGIN{}khối được thực hiện trước khi dòng đầu tiên và các END{}khối sau dòng cuối cùng. Vì vậy, lệnh trên có nghĩa print "first" at the beginning, then print every line in the file and print "last" at the end.

• Perl

  perl -ne 'BEGIN{print "first\n"} print;END{print "last\n"}' $File > NewFile

  Điều này về cơ bản là giống như gawk ở trên chỉ được viết bằng Perl.

Tôi thích đơn giản hơn nhiều:

gsed -i '1s/^/foo\n/gm; $s/$/\nbar/gm' filename.txt

Điều này biến đổi tập tin:

asdf
qwer

vào tập tin:

foo
asdf
qwer
bar

Bạn có thể sử dụng Vim trong chế độ Ex:

ex -sc '1i|ALFA' -c '$a|BRAVO' -cx file

1. 1 chọn dòng đầu tiên

2. i chèn văn bản và dòng mới

3. $ chọn dòng cuối cùng

4. a chắp thêm văn bản và dòng mới

5. x lưu và đóng

Không có cách nào để chèn dữ liệu vào đầu tệp¹, tất cả những gì bạn có thể làm là tạo một tệp mới, ghi dữ liệu bổ sung và nối thêm dữ liệu cũ. Vì vậy, bạn sẽ phải viết lại toàn bộ tệp ít nhất một lần để chèn dòng đầu tiên. Tuy nhiên, bạn có thể nối dòng cuối cùng mà không cần viết lại tệp.

sed -i '1i\'"$FirstLine" $Filename
echo "$LastLine" >>$Filename

Ngoài ra, bạn có thể kết hợp hai lệnh trong một lần chạy sed.

sed -i -e '1i\'"$FirstLine" -e '$ a\'"$Lastline" $Filename

sed -itạo một tệp đầu ra mới và sau đó di chuyển nó qua tệp cũ. Điều này có nghĩa là trong khi sed đang hoạt động, có một bản sao thứ hai của tệp sử dụng hết dung lượng. Bạn có thể tránh điều này bằng cách ghi đè tệp tại chỗ , nhưng với những hạn chế lớn: dòng bạn thêm phải nhỏ hơn bộ đệm của sed và nếu hệ thống của bạn gặp sự cố, bạn sẽ bị mất tệp và một số nội dung bị mất trong giữa, vì vậy tôi mạnh mẽ đề nghị chống lại nó.

¹ _{Linux có cách chèn dữ liệu vào một tệp, nhưng nó chỉ có thể chèn toàn bộ số khối hệ thống tệp, nó không thể chèn các chuỗi có độ dài tùy ý. Nó hữu ích cho một số ứng dụng, chẳng hạn như cơ sở dữ liệu và máy ảo, nhưng nó vô dụng đối với các tệp văn bản.}

$ (echo "Some Text" ; cat file1) > file2

Các hạt nhân Linux hiện đại (cao hơn 4.1 hoặc 4.2) hỗ trợ chèn dữ liệu vào đầu tệp thông qua fallocate() gọi hệ thống với hệ thốngFALLOC_FL_INSERT_RANGE ext4 và xfs. Về bản chất, đây là một hoạt động dịch chuyển hợp lý: dữ liệu được di chuyển một cách hợp lý ở mức bù cao hơn.

Một ràng buộc tồn tại liên quan đến độ chi tiết của phạm vi bạn muốn chèn vào đầu tệp. Nhưng đối với các tệp văn bản, bạn có thể có thể phân bổ nhiều hơn một chút so với yêu cầu (tối đa đến ranh giới chi tiết) và điền vào chỗ trống hoặc trả về vận chuyển, nhưng điều đó phụ thuộc vào ứng dụng của bạn

Tôi không biết về bất kỳ tiện ích linux có sẵn nào có thể thao túng phạm vi tệp nhưng không khó để viết: lấy một mô tả tệp và gọi fallocate()với các đối số thích hợp. Để biết thêm chi tiết, tham khảo trang man của fallocatecuộc gọi hệ thống: http://man7.org/linux/man-pages/man2/fallocate.2.html