Lệnh hiển thị vài dòng đầu tiên và vài dòng cuối cùng của tệp

Tôi có một tệp có nhiều hàng và mỗi hàng có dấu thời gian ở đầu, như

[Thread-3] (21/09/12 06:17:38:672) logged message from code.....

Vì vậy, tôi thường xuyên kiểm tra 2 thứ từ tệp nhật ký này.

1. Một vài hàng đầu tiên, có các điều kiện toàn cầu và thời gian bắt đầu cũng được đưa ra.
2. Một vài hàng cuối cùng, có trạng thái thoát với một số thông tin khác.

Có bất kỳ lệnh đơn tiện dụng nhanh chóng nào có thể cho phép tôi chỉ hiển thị vài dòng đầu tiên và cuối cùng của một tệp không?

Bạn có thể sử dụng sedhoặc awkđể thực hiện nó với một lệnh. Tuy nhiên, bạn sẽ mất tốc độ, nguyên nhân sedvà awksẽ cần phải chạy qua toàn bộ tệp. Từ quan điểm tốc độ, tốt hơn là tạo một hàm hoặc mỗi lần kết hợp tail+ head. Điều này không có nhược điểm là không hoạt động nếu đầu vào là một đường ống, tuy nhiên bạn có thể sử dụng thay thế Proccess, trong trường hợp shell của bạn hỗ trợ nó (xem ví dụ bên dưới).

first_last () {
    head -n 10 -- "$1"
    tail -n 10 -- "$1"
}

và chỉ khởi chạy nó như

first_last "/path/to/file_to_process"

để tiến hành thay thế quá trình (chỉ bash, zsh, ksh như shell):

first_last <( command )

ps. bạn thậm chí có thể thêm một grepđể kiểm tra xem "điều kiện toàn cầu" của bạn có tồn tại không.

@rush đúng về việc sử dụng head + tail hiệu quả hơn cho các tệp lớn, nhưng đối với các tệp nhỏ (<20 dòng), một số dòng có thể được xuất hai lần.

{ head; tail;} < /path/to/file

sẽ hiệu quả như nhau, nhưng sẽ không có vấn đề ở trên.

Các { head; tail; }giải pháp sẽ không làm việc trên đường ống (hoặc ổ cắm hoặc bất kỳ tập tin không seekable khác) vì headcó thể tiêu thụ quá nhiều dữ liệu như nó đọc bởi khối và không thể tìm lại trên đường ống khả năng rời khỏi con trỏ bên trong tập tin ngoài những gì tailcó ý nghĩa chọn.

Vì vậy, bạn có thể sử dụng một công cụ đọc một ký tự cùng một lúc như shell read(ở đây sử dụng hàm lấy số dòng đầu và dòng đuôi làm đối số).

head_tail() {
  n=0
  while [ "$n" -lt "$1" ]; do
    IFS= read -r line || { printf %s "$line"; break; }
    printf '%s\n' "$line"
    n=$(($n + 1))
  done
  tail -n "${2-$1}"
}
seq 100 | head_tail 5 10
seq 20 | head_tail 5

hoặc thực hiện tailtrong awk chẳng hạn như:

head_tail() {
  awk -v h="$1" -v t="${2-$1}" '
    {l[NR%t]=$0}
    NR<=h
    END{
      n=NR-t+1
      if(n <= h) n = h+1
      for (;n<=NR;n++) print l[n%t]
    }'
}

Với sed:

head_tail() {
  sed -e "1,${1}b" -e :1 -e "$(($1+${2-$1})),\$!{N;b1" -e '}' -e 'N;D'
}

(mặc dù hãy cẩn thận rằng một số sedtriển khai có giới hạn thấp về kích thước của không gian mẫu của chúng, do đó sẽ thất bại đối với các giá trị lớn của số lượng dòng đuôi).

Sử dụng bashthay thế quá trình, bạn có thể làm như sau:

make_some_output | tee >(tail -n 2) >(head -n 2; cat >/dev/null) >/dev/null

Lưu ý rằng các dòng không được đảm bảo theo thứ tự, mặc dù đối với các tệp dài hơn khoảng 8kB, chúng rất có thể sẽ có. Điểm cắt 8kB này là kích thước điển hình của bộ đệm đọc và có liên quan đến lý do | {head; tail;}không hoạt động đối với các tệp nhỏ.

Điều cat >/dev/nullcần thiết là giữ cho headđường ống sống. Nếu không thì teesẽ thoát sớm và trong khi bạn sẽ nhận được đầu ra từ tailđó, thì nó sẽ đến từ một nơi nào đó ở giữa đầu vào, thay vì kết thúc.

Cuối cùng, tại sao >/dev/nullthay vì, nói, di chuyển tailsang người khác |? Trong trường hợp sau:

make_some_output | tee >(head -n 2; cat >/dev/null) | tail -n 2  # doesn't work

headThiết bị xuất chuẩn được đưa vào đường ống tailthay vì bảng điều khiển, đây không phải là thứ chúng ta muốn.

Sử dụng ed(sẽ đọc toàn bộ tệp vào RAM):

# cf. http://wiki.bash-hackers.org/howto/edit-ed
printf '%s\n' 'H' '1,10p' '$-10,$p' 'q' | ed -s file

Giải pháp đầu tiên của Stephane trong một hàm để bạn có thể sử dụng các đối số (hoạt động trong bất kỳ shell nào giống như Bourne):

head_tail() {
    head "$@";
    tail "$@";
}

Bây giờ bạn có thể làm điều này:

head_tail -n 5 < /path/to/file

Tất nhiên, điều này giả định rằng bạn chỉ xem một tệp và như giải pháp của Stephane chỉ hoạt động (đáng tin cậy) trên các tệp thông thường (có thể tìm kiếm).

Với tùy chọn -u( --unbuffered) của GNU sed, bạn có thể sử dụng sed -u 2qnhư một giải pháp thay thế không có bộ đệm cho head -n2:

$ seq 100|(sed -u 2q;tail -n2)
1
2
99
100

(head -n2;tail -n2)thất bại khi các dòng cuối cùng là một phần của khối đầu vào được sử dụng bởi head:

$ seq 1000|(head -n2;tail -n2)
1
2
999
1000
$ seq 100|(head -n2;tail -n2)
1
2

Tôi đã gặp một cái gì đó như thế này hôm nay khi tôi chỉ cần dòng cuối cùng và một vài dòng từ phía trước của một dòng và đưa ra sau đây.

sed -n -e '1{h}' -e '2,3{H}' -e '${H;x;p}'

Tôi đọc điều này như: khởi tạo không gian giữ với nội dung của dòng đầu tiên, nối các dòng 2-3 trong không gian giữ, tại EOF nối dòng cuối cùng vào không gian giữ, hoán đổi không gian giữ và mẫu và in mẫu không gian.

Có lẽ ai đó có nhiều sed-fu hơn tôi có thể tìm ra cách khái quát hóa điều này để in một vài dòng cuối cùng được chỉ ra trong câu hỏi này nhưng tôi không cần nó và không thể tìm thấy một cách dễ dàng để làm toán dựa trên $địa chỉ trong sedhoặc có lẽ bằng cách quản lý không gian giữ sao cho chỉ có một vài dòng cuối cùng ở trong đó khi EOFđạt được.

Bạn có thể thử Perl, nếu bạn đã cài đặt nó:

perl -e '@_ = <>; @_=@_[0, -3..-1]; print @_'

Điều này sẽ làm việc cho hầu hết các tệp, nhưng đọc toàn bộ tệp vào bộ nhớ trước khi xử lý nó. Nếu bạn không quen thuộc với các lát Perl, "0" trong ngoặc vuông có nghĩa là "lấy dòng đầu tiên" và "-3 ...- 1" có nghĩa là "lấy ba dòng cuối". Bạn có thể điều chỉnh cả hai theo nhu cầu của bạn. Nếu bạn cần xử lý các tệp thực sự lớn (cái gì là 'lớn' có thể phụ thuộc vào RAM của bạn và có lẽ kích thước trao đổi), bạn có thể muốn sử dụng:

perl -e 'while($_=<>){@_=(@_,$_)[0,-3..-1]}; print @_'

nó có thể chậm hơn một chút, bởi vì nó tạo ra một lát mỗi lần lặp, nhưng nó độc lập với kích thước tệp.

Cả hai lệnh nên hoạt động cả trong đường ống và với các tệp thông thường.