Cách nhanh nhất để xử lý kích thước không nén của tệp GZIPPED lớn

Khi một tệp được nén, có một cách nhanh chóng truy vấn nó để cho biết kích thước tệp không nén là gì (không giải nén nó), đặc biệt trong trường hợp tệp không nén có kích thước> 4GB.

Theo RFC https://tools.ietf.org/html/rfc1952#page-5 bạn có thể truy vấn 4 byte cuối cùng của tệp, nhưng nếu tệp không nén là> 4GB thì giá trị chỉ đại diện chouncompressed value modulo 2^32

Giá trị này cũng có thể được lấy bằng cách chạy gunzip -l foo.gz, tuy nhiên cột "không nén" chỉ chứa uncompressed value modulo 2^32lại, có lẽ là khi nó đọc phần chân trang như được mô tả ở trên.

Tôi chỉ tự hỏi liệu có cách nào để có được kích thước tệp không nén mà không phải giải nén nó trước không, điều này sẽ đặc biệt hữu ích trong trường hợp các tệp được nén có chứa 50GB + dữ liệu và sẽ mất một thời gian để giải nén bằng các phương thức như gzcat foo.gz | wc -c

EDIT: Giới hạn 4GB được xác nhận công khai trong mantrang của gziptiện ích đi kèm với OSX ( Apple gzip 242)

  BUGS
    According to RFC 1952, the recorded file size is stored in a 32-bit
    integer, therefore, it can not represent files larger than 4GB. This
    limitation also applies to -l option of gzip utility.

Tôi tin rằng cách nhanh nhất là sửa đổi gzipđể thử nghiệm trong chế độ dài dòng cho ra số lượng byte được giải nén; trên hệ thống của tôi, với tệp 7761108684 byte, tôi nhận được

% time gzip -tv test.gz
test.gz:     OK (7761108684 bytes)
gzip -tv test.gz  44.19s user 0.79s system 100% cpu 44.919 total

% time zcat test.gz| wc -c
7761108684
zcat test.gz  45.51s user 1.54s system 100% cpu 46.987 total
wc -c  0.09s user 1.46s system 3% cpu 46.987 total

Để sửa đổi gzip (1.6, như có sẵn trong Debian), bản vá như sau:

--- a/gzip.c
+++ b/gzip.c
@@ -61,6 +61,7 @@
 #include <stdbool.h>
 #include <sys/stat.h>
 #include <errno.h>
+#include <inttypes.h>

 #include "closein.h"
 #include "tailor.h"
@@ -694,7 +695,7 @@

     if (verbose) {
         if (test) {
-            fprintf(stderr, " OK\n");
+            fprintf(stderr, " OK (%jd bytes)\n", (intmax_t) bytes_out);

         } else if (!decompress) {
             display_ratio(bytes_in-(bytes_out-header_bytes), bytes_in, stderr);
@@ -901,7 +902,7 @@
     /* Display statistics */
     if(verbose) {
         if (test) {
-            fprintf(stderr, " OK");
+            fprintf(stderr, " OK (%jd bytes)", (intmax_t) bytes_out);
         } else if (decompress) {
             display_ratio(bytes_out-(bytes_in-header_bytes), bytes_out,stderr);
         } else {

Nếu bạn cần kích thước của một tập tin nén hoặc bộ các tập tin, đặt cược tốt nhất của bạn là để sử dụng tar -zhoặc tar -jthay vì gzipnhư tarbao gồm các tập tin nén kích thước. Sử dụng lesspipeđể xem danh sách các tập tin:

aptitude install lesspipe
lesspipe <compressed file> | less

Nếu lessđược cấu hình để sử dụng lesspipe:

less <compressed file>

Chỉ cần nhớ rằng nó có thể mất một thời gian rất dài mặc dù. Tuy nhiên, hệ thống của bạn vẫn phản hồi nhanh, cho phép bạn giết quá trình giải nén.

Một cách tiếp cận khác là ghi nhật ký tỷ lệ nén và truy vấn tệp [văn bản] đó:

gzip --verbose file 2>&1 | tee file.gz.log
file:    64.5% -- replaced with file.gz

Nó đòi hỏi tính toán để tìm kích thước tập tin thực sự mặc dù.

Bạn cũng có thể làm tương tự với tar, thực tế là những gì tôi làm với các bản sao lưu có kích thước lớn vì nó ngăn không cho chạy qua toàn bộ quá trình giải nén để chỉ lấy kích thước tệp hoặc tên chẳng hạn.

Thế còn

gzip -l file.gz|tail -n1|awk '{print $2}'

numfmt --to=iec $(gzip -l file.gz|tail -n1|awk '{print $2}')

gunzip -c $file | wc -c

Điều này sẽ mất nhiều thời gian, nhưng sẽ cung cấp cho bạn kích thước cuối cùng theo byte.