Chuẩn bị dòng cuối cùng của stdin cho toàn bộ stdin

Hãy xem xét kịch bản này:

tmpfile=$(mktemp)

cat <<EOS > "$tmpfile"
line 1
line 2
line 3
EOS

cat <(tail -1 "$tmpfile") "$tmpfile"

Điều này hoạt động và đầu ra:

line 3
line 1
line 2
line 3

Hãy nói rằng nguồn đầu vào của chúng tôi, thay vì là một tệp thực tế, thay vào đó là stdin:

cat <<EOS | # what goes here now?
line 1
line 2
line 3
EOS

Làm thế nào để chúng ta sửa đổi lệnh:

cat <(tail -1 "$tmpfile") "$tmpfile"

Vì vậy, nó vẫn tạo ra cùng một đầu ra, trong bối cảnh khác nhau này?

LƯU Ý: Heredoc cụ thể mà tôi đang trích dẫn, cũng như việc sử dụng chính Heredoc, chỉ mang tính minh họa. Bất kỳ câu trả lời chấp nhận được nên cho rằng nó đang nhận dữ liệu tùy ý thông qua stdin .

Thử:

awk '{x=x $0 ORS}; END{printf "%s", $0 ORS x}'

Thí dụ

Xác định một biến với đầu vào của chúng tôi:

$ input="line 1
> line 2
> line 3"

Chạy lệnh của chúng tôi:

$ echo "$input" | awk '{x=x $0 ORS}; END{printf "%s", $0 ORS x}'
line 3
line 1
line 2
line 3

Ngoài ra, tất nhiên, chúng ta có thể sử dụng tài liệu ở đây:

$ cat <<EOS | awk '{x=x $0 ORS}; END{printf "%s", $0 ORS x}'
line 1
line 2
line 3
EOS
line 3
line 1
line 2
line 3

Làm thế nào nó hoạt động

• x=x $0 ORS

  Điều này nối thêm từng dòng đầu vào cho biến x.

  Trong awk, ORSlà dấu phân tách đầu ra . Theo mặc định, nó là một nhân vật dòng mới.

• END{printf "%s", $0 ORS x}

  Sau khi chúng tôi đã đọc trong toàn bộ tệp, phần này sẽ in dòng cuối cùng $0, theo sau là nội dung của toàn bộ tệp x.

Vì điều này đọc toàn bộ đầu vào vào bộ nhớ, nên nó sẽ không phù hợp với các đầu vào lớn ( ví dụ gigabyte).

Nếu stdin trỏ đến một tệp có thể tìm kiếm (như trong trường hợp của bash (nhưng không phải tất cả các shell khác) ở đây, các tài liệu được triển khai với các tệp tạm thời), bạn có thể lấy đuôi và sau đó tìm kiếm lại trước khi đọc toàn bộ nội dung:

toán tử tìm kiếm có sẵn trong zshhoặc ksh93shell, hoặc các ngôn ngữ script như tcl / perl / python, nhưng không có trong bash. Nhưng bạn luôn có thể gọi những thông dịch viên nâng cao hơn bashnếu bạn phải sử dụng bash.

ksh93 -c 'tail -n1; cat <#((0))' <<...

Hoặc là

zsh -c 'zmodload zsh/system; tail -n1; sysseek 0; cat' <<...

Bây giờ, điều đó sẽ không hoạt động khi stdin trỏ đến một tệp không thể tìm kiếm như ống hoặc ổ cắm. Sau đó, tùy chọn duy nhất là đọc và lưu trữ (trong bộ nhớ hoặc trong một tệp tạm thời ...) toàn bộ đầu vào.

Một số giải pháp lưu trữ trong bộ nhớ đã được đưa ra.

Với tempfile, với zsh, bạn có thể làm điều đó với:

seq 10 | zsh -c '{ cat =(sed \$w/dev/fd/3); } 3>&1'

Nếu trên Linux, có bashhoặc zshbất kỳ shell nào sử dụng tệp tạm thời cho tài liệu ở đây, bạn thực sự có thể sử dụng tệp tạm thời được tạo bởi tài liệu ở đây để lưu trữ đầu ra:

seq 10 | {
  chmod u+w /dev/fd/3 # only needed in bash5+
  cat > /dev/fd/3
  tail -n1 /dev/fd/3
  cat <&3
} 3<<EOF
EOF

cat <<EOS | sed -ne '1{h;d;}' -e 'H;${G;p;}'
line 1
line 2
line 3
EOS

Vấn đề với việc dịch cái này sang cái gì đó sử dụng taillà tailcần phải đọc toàn bộ tập tin để tìm ra kết thúc của nó. Để sử dụng nó trong đường ống của bạn, bạn cần phải

1. Cung cấp đầy đủ nội dung của tài liệu cho tail.
2. Cung cấp lại cho cat.
3. Theo thứ tự đó.

Một mẹo nhỏ không phải là sao chép nội dung của tài liệu ( teethực hiện điều đó) mà là để đầu tailra xảy ra trước khi phần còn lại của tài liệu được xuất ra, mà không sử dụng tệp tạm thời trung gian.

Việc sử dụng sed(hoặc awk, như John1024 thực hiện ) sẽ loại bỏ việc phân tích cú pháp dữ liệu kép và vấn đề đặt hàng bằng cách lưu trữ dữ liệu trong bộ nhớ.

Các sedgiải pháp mà tôi đề xuất là để

1. 1{h;d;}, lưu trữ dòng đầu tiên trong không gian giữ, nguyên trạng và bỏ qua dòng tiếp theo.
2. H, nối các dòng khác vào không gian giữ bằng một dòng mới được nhúng.
3. ${G;p;}, nối không gian giữ vào dòng cuối cùng với một dòng mới được nhúng và in dữ liệu kết quả.

Đây là bản dịch hoàn toàn theo nghĩa đen của giải pháp John1024 sed, với lời cảnh báo rằng tiêu chuẩn POSIX chỉ đảm bảo rằng không gian lưu trữ ở mức tối thiểu 8192 byte (8 KiB; nhưng nó khuyến nghị rằng bộ đệm này được phân bổ và mở rộng một cách linh hoạt khi cần, cả GNU sedvà BSD sedđang làm).

Nếu bạn cho phép mình sử dụng một đường ống có tên:

mkfifo mypipe
cat <<EOS | tee mypipe | cat <( tail -n 1 mypipe ) -
line 1
line 2
line 3
EOS
rm -f mypipe

Điều này sử dụng teeđể gửi dữ liệu xuống mypipevà đồng thời đến cat. Trước cattiên, tiện ích sẽ đọc đầu ra từ tail(đọc từ mypipe, teeghi vào), sau đó nối thêm bản sao của tài liệu đến trực tiếp từ đó tee.

Có một lỗ hổng nghiêm trọng trong vấn đề này, ở chỗ, nếu tài liệu quá lớn (lớn hơn kích thước bộ đệm của đường ống), thì teechữ viết mypipevà catsẽ bị chặn trong khi chờ ống (không tên) bị trống. Nó sẽ không được làm trống cho đến khi catđọc từ nó. catsẽ không đọc từ đó cho đến khi tailhoàn thành. Và tailsẽ không hoàn thành cho đến khi teehoàn thành. Đây là một tình huống bế tắc cổ điển.

Các biến thể

tee >( tail -n 1 >mypipe ) | cat mypipe -

có cùng một vấn đề.

Có một công cụ có tên peetrong một tập hợp các tiện ích dòng lệnh thường được đóng gói với tên "moreutils mấy (hoặc có thể truy xuất được từ trang web chính của nó ).

Nếu bạn có thể có nó trên hệ thống của bạn thì tương đương với ví dụ của bạn sẽ như sau:

cat <<EOS | pee 'tail -1' cat 
line 1
line 2
line 3
EOS

Thứ tự các lệnh chạy qua peerất quan trọng vì chúng được thực thi theo trình tự được cung cấp.

Thử:

cat <<EOS # | what goes here now? Nothing!
line 3
line 1
line 2
line 3
EOS

Vì toàn bộ dữ liệu là dữ liệu theo nghĩa đen ("tài liệu ở đây là tài liệu") và sự khác biệt giữa dữ liệu đó và đầu ra mong muốn là không đáng kể, chỉ cần xoa bóp dữ liệu bằng chữ đó ngay tại đó để khớp với đầu ra.

Bây giờ giả sử line 3đến từ một nơi nào đó và được lưu trữ trong một biến gọi là lastline:

cat <<EOS # | what goes here now? Nothing!
$lastline
line 1
line 2
$lastline
EOS

Trong tài liệu ở đây, chúng ta có thể tạo văn bản bằng cách thay thế các biến. Không chỉ vậy mà chúng ta có thể tính toán văn bản bằng cách sử dụng lệnh thay thế:

cat <<EOS
this is template text
here we have a hex conversion: $(printf "%x" 42)
EOS

Chúng ta có thể nội suy nhiều dòng:

cat <<EOS
multi line
preamble
$(for x in 3 1 2 3; do echo line $x ; done)
epilog
EOS

Nói chung, tránh xử lý văn bản mẫu tài liệu ở đây; cố gắng tạo nó bằng cách sử dụng mã nội suy.

Nếu bạn không quan tâm đến thứ tự. Sau đó, điều này sẽ làm việc cat lines | tee >(tail -1). Như những người khác đã nói. Bạn cần đọc tệp hai lần hoặc đệm toàn bộ tệp để thực hiện theo thứ tự bạn yêu cầu.