Có một công cụ kết hợp zcat và mèo trong suốt?

Khi xử lý các tệp nhật ký, một số kết thúc là các tệp được nén bằng và các tệp logrotatekhác thì không. Vì vậy, khi bạn thử một cái gì đó như thế này:

$ zcat *

bạn kết thúc với một dòng lệnh như zcat xyz.log xyz.log.1 xyz.log.2.gz xyz.log.3.gzvà sau đó với:

gzip: xyz.log: not in gzip format

Có một công cụ sẽ lấy các byte ma thuật, tương tự như cách filehoạt động và sử dụng zcathoặc cattùy thuộc vào kết quả để tôi có thể dẫn đầu ra ra grepchẳng hạn?

NB: Tôi biết tôi có thể viết kịch bản, nhưng tôi đang hỏi liệu đã có công cụ nào chưa.

zless

Có vẻ đáng tiếc zcat, vì libz có API hỗ trợ đọc từ cả tệp nén và tệp không nén trong suốt. Nhưng trang này nói rằng zcatnó tương đương với gunzip -c.

Hãy thử nó với -fhoặc --force:

zcat -f -- *

Vì zcatchỉ là một tập lệnh đơn giản chạy

exec gzip -cd "$@"

với các tùy chọn dài sẽ dịch sang

exec gzip --stdout --decompress "$@"

và, theo man gzip(nhấn mạnh của tôi):

-f - lực lượng
      Buộc nén hoặc giải nén ngay cả khi tệp có nhiều liên kết
      hoặc tệp tương ứng đã tồn tại hoặc nếu dữ liệu nén là
      đọc từ hoặc viết đến một thiết bị đầu cuối. Nếu dữ liệu đầu vào không ở định dạng
      được nhận dạng bởi gzip và nếu tùy chọn --stdout cũng được cung cấp, hãy sao chép
      dữ liệu đầu vào mà không thay đổi thành đầu ra tiêu chuẩn: hãy để zcat hành xử như con mèo .

Cũng thế:

để tôi có thể dẫn đầu ra thành grepví dụ

Bạn có thể sử dụng zgrepcho điều đó:

zgrep -- PATTERN *

mặc dù xem bình luận của Stéphane bên dưới.

Tôi sử dụng chính xác cho cùng một mục đích:

{ cat /var/log/messages ; zcat /var/log/messages*.gz ; }| grep something | grep "something else" ....

Có một sự thay thế thả vào cho ztools (zcat, zgrep, ..) được gọi là zutils kết hợp tất cả các công cụ giải nén độc lập với phụ trợ. Vì vậy, với cùng một lệnh, bạn có thể đọc các tệp đơn giản, lzma, gzipped, xz trong suốt.

Nó có sẵn trong debian wheezy hoặc mới hơn, có thể là redhat / centos.

Trang của dự án ở đây nongnu.org

Một bài đăng blog giải thích việc sử dụng tại đây ( noone.org )

Điều này hoạt động tốt trong RHEL 5.x trong đó zcat là nhị phân. Nó thất bại trong RHEL 6.x (và Ubuntu 12.x) trong đó zcat là một tập lệnh. Điều này được sử dụng để làm việc tốt.

Tôi hoàn toàn không sử dụng zcat nhưng zgrep sẽ không xử lý đúng các tệp không nén.

Mở cả nén và không nén, theo thứ tự thời gian.

ls -v syslog* | tac | xargs zcat -f | less

Còn bọc thì sao?

$ cat xcat.sh 
#!/bin/bash

for i in $@;do 
        [ ! -z "$(file -i $i | grep "gzip")" ] && zcat $i || cat $i
done

$ bash xcat.sh plain.txt gzipped_text.gz

Sao chép và dán (hoặc đặt nó ở cuối ~/.bashrctệp của bạn ) chức năng bash này :

logs() { zcat -f $(ls -rv "$1"*) | less; }

Bây giờ bạn có thể nhập ví dụ logs /var/log/sysloghoặc logs /var/log/nginx/access.logđể xem tất cả các thông điệp nhật ký syslog hoặc nginx từ cũ nhất đến mới nhất với ít hơn .

Sau đó, bạn có thể tìm kiếm một cái gì đó gõ /somethingvà nhấn ncho tiếp theo .

Có một kịch bản perl đẹp tuyệt vời làm điều này. Đó là logresolvemerge.pl từ dự án awstats: http://www.awstats.org/docs/awstats_tools.html

Logresolvemerge cho phép bạn có được một tệp nhật ký đầu ra duy nhất, được sắp xếp theo ngày, được xây dựng từ các nguồn cụ thể:

Dựa trên câu trả lời của @ Ryan, những điều sau đây sẽ giúp có được tất cả các tệp 'cuộn' được sắp xếp theo thứ tự bảng chữ cái, sau đó lấy tệp hiện tại, giải nén chúng, nếu cần và lesschúng:

cat <(ls mylog.log-* | sort) <(ls mylog.log) | xargs zcat -f | less

hoặc nếu bạn muốn lấy tất cả chúng dưới dạng một luồng liên tục, bạn có thể sử dụng tailchúng và tùy ý chuyển nó sang một quy trình khác

cat <(ls mylog.log-* | sort | xargs zcat -f) <(tail -f -n +0 mylog.log)

Tôi nên lưu ý rằng điều này được thiết kế cho các bản ghi được xoay hàng ngày với ngày được gắn vào cuối tệp. Nếu bạn đăng nhập cho chúng tôi một định dạng khác, bạn sẽ phải sửa đổi phần đầu tiên của catcâu lệnh để phù hợp.