Tôi đang cố gắng thực hiện đếm bản ghi trên tệp gzip 7.6 GB. Tôi tìm thấy một vài cách tiếp cận bằng cách sử dụng zcatlệnh.

$ zcat T.csv.gz | wc -l
423668947

Điều này hoạt động nhưng mất quá nhiều thời gian (hơn 10 phút để có được số đếm). Tôi đã thử một vài cách tiếp cận như

$ sed -n '$=' T.csv.gz
28173811
$ perl -lne 'END { print $. }' < T.csv.gz
28173811
$ awk 'END {print NR}' T.csv.gz
28173811

Tất cả ba lệnh này đang thực thi khá nhanh nhưng cho số đếm không chính xác là 28173811.

Làm thế nào tôi có thể thực hiện một số lượng hồ sơ trong một khoảng thời gian tối thiểu?

Các sed, perlvà awkcác lệnh mà bạn đề cập có thể đúng, nhưng tất cả đều đọc nén dữ liệu và số lượng ký tự xuống dòng trong đó. Các ký tự dòng mới này không liên quan gì đến các ký tự dòng mới trong dữ liệu không nén.

Để đếm số lượng dòng trong dữ liệu không nén, không có cách nào để giải nén nó. Cách tiếp cận của bạn với zcatlà cách tiếp cận chính xác và vì dữ liệu quá lớn, nên sẽ mất thời gian để giải nén nó.

Hầu hết các tiện ích liên quan đến gzipnén và giải nén rất có thể sẽ sử dụng cùng một thói quen thư viện dùng chung để làm như vậy. Cách duy nhất để tăng tốc nó là tìm ra cách thực hiện các zlibthói quen nhanh hơn so với các thói quen mặc định và xây dựng lại, ví dụ như zcatsử dụng chúng.

Sử dụng unpigz.

Câu trả lời của Kusalananda là chính xác, bạn sẽ cần giải nén toàn bộ tập tin đó để quét nội dung của nó. /bin/gunziplàm điều này nhanh nhất có thể, trên một lõi đơn. Pigz là một triển khai song song gzipcó thể sử dụng nhiều lõi.

Đáng buồn thay, bản thân việc giải nén các tệp gzip bình thường không thể song song, nhưng pigzcung cấp một phiên bản cải tiến của gunzip, unpigzhoạt động liên quan như đọc, viết và kiểm tra trong một luồng riêng biệt. Trong một số điểm chuẩn nhanh, nhanh unpigzgấp gần hai lần so với gunzipmáy i5 lõi của tôi.

Cài đặt pigzvới trình quản lý gói yêu thích của bạn và sử dụng unpigzthay vì gunziphoặc unpigz -cthay vì zcat. Vì vậy, lệnh của bạn trở thành:

$ unpigz -c T.csv.gz | wc -l

Tất cả điều này giả định nút cổ chai là CPU, không phải đĩa, tất nhiên.

Vấn đề với tất cả các đường ống là về cơ bản bạn đang nhân đôi công việc. Cho dù giải nén nhanh đến mức nào, dữ liệu vẫn cần được chuyển sang một quy trình khác.

Perl có PerlIO :: gzip cho phép bạn đọc các luồng được nén trực tiếp. Do đó, nó có thể mang lại lợi thế ngay cả khi tốc độ giải nén của nó có thể không khớp với unpigz:

#!/usr/bin/env perl

use strict;
use warnings;

use autouse Carp => 'croak';
use PerlIO::gzip;

@ARGV or croak "Need filename\n";

open my $in, '<:gzip', $ARGV[0]
    or croak "Failed to open '$ARGV[0]': $!";

1 while <$in>;

print "$.\n";

close $in or croak "Failed to close '$ARGV[0]': $!";

Tôi đã thử nó với tệp nén gzip 13 MB (giải nén thành 1,4 GB) trên MacBook Pro 2010 cũ với RAM 16 GB và ThinkPad T400 cũ với RAM 8 GB với tệp đã có trong bộ đệm. Trên máy Mac, tập lệnh Perl nhanh hơn đáng kể so với sử dụng đường ống (5 giây so với 22 giây), nhưng trên ArchLinux, nó đã thua unpigz:

$ time -p ./gzlc.pl spy.gz 
1154737
4,49 thật
người dùng 4,47
sys 0,01

đấu với

$ time -p unpigz -c spy.gz | wc -l
1154737
thực 3,68
người dùng 4.10
hệ thống 1.46

và

$ time -p zcat spy.gz | wc -l
1154737
6,41 thật
người dùng 6.08
hệ thống 0,86

Rõ ràng, sử dụng unpigz -c file.gz | wc -llà người chiến thắng ở đây cả về tốc độ. Và, dòng lệnh đơn giản đó chắc chắn đánh bại việc viết một chương trình, tuy nhiên ngắn.

Câu trả lời của Kusalananda hầu hết là đúng. Để đếm dòng bạn cần tìm kiếm dòng mới. Tuy nhiên về mặt lý thuyết có thể tìm kiếm các dòng mới mà không giải nén hoàn toàn tệp.

gzip sử dụng nén DEFLATE. DEFLATE là sự kết hợp của mã hóa LZ77 và Huffman. Có thể có một cách để chỉ ra nút biểu tượng Huffman cho dòng mới và bỏ qua phần còn lại. Gần như chắc chắn có một cách để tìm kiếm các dòng mới được mã hóa bằng L277, giữ số byte và bỏ qua mọi thứ khác.

Vì vậy, IMHO về mặt lý thuyết có thể đưa ra một giải pháp hiệu quả hơn unpigz hoặc zgrep. Điều đó được nói rằng nó chắc chắn không thực tế (trừ khi ai đó đã làm điều đó).

Có thể được thực hiện bằng cách sử dụng zgrepvới -ccờ và $tham số.

Trong trường hợp này -c hướng dẫn lệnh xuất số dòng phù hợp và regex $ khớp với cuối dòng để nó khớp với mọi dòng hoặc tệp.

zgrep -c $ T.csv.gz 

Theo nhận xét của @ StéphaneChazelas - zgrepchỉ là một kịch bản xung quanh zcatvà grepvà nó sẽ cung cấp hiệu suất tương tự như đề nghị ban đầu củazcat | wc -l

Như bạn có thể thấy, hầu hết các câu trả lời đều cố gắng tối ưu hóa những gì nó có thể: số lượng các công tắc ngữ cảnh và IO liên quy trình. Lý do là, đây là điều duy nhất bạn có thể tối ưu hóa ở đây một cách dễ dàng.

Bây giờ vấn đề là nhu cầu tài nguyên của nó gần như không đáng kể so với nhu cầu tài nguyên của giải nén. Đây là lý do tại sao việc tối ưu hóa sẽ không thực sự làm mọi thứ nhanh hơn.

Trong trường hợp nó có thể thực sự được tăng tốc, đó sẽ là một thuật toán un-gzip (nghĩa là giải nén) đã sửa đổi, loại bỏ việc sản xuất thực tế của luồng dữ liệu được giải nén; thay vào đó, nó chỉ tính toán số lượng dòng mới trong luồng được giải nén từ dòng được nén . Thật khó, nó sẽ đòi hỏi kiến ​​thức sâu về thuật toán của gzip (một số kết hợp thuật toán nén LZW và Huffman ). Một điều khá có thể xảy ra là thuật toán không thể tối ưu hóa đáng kể thời gian giải nén với việc làm sáng, mà chúng ta chỉ cần biết số lượng dòng mới. Ngay cả nếu có thể, về cơ bản, một thư viện giải nén gzip mới đã được phát triển (nó không tồn tại cho đến khi biết).

Câu trả lời thực tế cho câu hỏi của bạn là, không, bạn không thể làm cho nó nhanh hơn đáng kể.

Có lẽ bạn có thể sử dụng một số giải nén gzip song song, nếu nó tồn tại. Nó có thể sử dụng nhiều lõi CPU để giải nén. Nếu nó không tồn tại, nó có thể được phát triển tương đối dễ dàng.

Đối với xz , tồn tại một máy nén song song (pxz).