Làm cách nào để giải nén 2 triệu tệp gzip mà không lưu trữ chúng hai lần?

Tôi có khoảng 2 triệu (60GiB) các tệp nhỏ được nén và tôi muốn tạo một kho lưu trữ nén chứa tất cả chúng trong một phiên bản không nén. Thật không may, tôi không thể giải nén tất cả chúng và sau đó tạo tệp lưu trữ nén vì tôi chỉ có khoảng 70GiB dung lượng đĩa trống. Nói cách khác, làm thế nào tôi có thể làm tương đương tar --file-filter="zcat" zcf file.tar.gz directorynếu chuyển đổi dòng lệnh như --file-filterkhông tồn tại trong GNU tar?

Một tùy chọn có thể được sử dụng avfs(ở đây giả sử hệ thống GNU):

mkdir ~/AVFS &&
avfsd ~/AVFS &&
cd ~/AVFS/where/your/gz/files/are/ &&
find . -name '*.gz' -type f -printf '%p#\0' |
  tar --null -T - --transform='s/.gz#$//' -cf - | pigz > /dest/file.tar.gz

Hãy lưu ý rằng điều này rất mong manh khi nói đến tên tệp khó chịu.

dir_with_small_files=/home/john/files
tmpdir=/tmp/ul/dst
tarfile=/tmp/ul.tar
mkfifo "${tarfile}"

gzip <"${tarfile}" >"${tarfile}.gz" &

find "$dir_with_small_files" -type f | \
while read src; do
    dstdir="${tmpdir}/$(dirname $src)"
    dst="$(basename $src .gz)"
    mkdir -p "$dstdir"
    gunzip <"$src" >"${dstdir}/${dst}"
    # rm "$src" # uncomment to remove the original files
    echo "${dstdir}/${dst}"
done | \
cpio --create --format=ustar -v --quiet 2>&1 >"${tarfile}" | \
while read x; do
    rm "$x"
done

# clean-up
rm "$tarfile"
rm -r "$tmpdir"

Các tập tin tạm thời không được nén $tmpdir, được chuyển đến cpiongay sau khi chúng được thêm vào kho lưu trữ, đã bị xóa.

Đây là những gì tôi đã thử cho đến nay - nó dường như hoạt động, nhưng rất chậm, ngay cả với PyPy:

#!/usr/bin/python

import tarfile
import os
import gzip
import sys
import cStringIO

tar = tarfile.open("/dev/stdout", "w|")
for name in sys.stdin:
    name = name[:-1]  # remove the trailing newline
    try:
        f = gzip.open(name)
        b = f.read()
        f.close()
    except IOError:
        f = open(name)
        b = f.read()
        f.close()
    # the [2:] there is to remove ./ from "find" output
    ti = tarfile.TarInfo(name[2:])
    ti.size = len(b)
    io = cStringIO.StringIO(b)
    tar.addfile(ti, io)
tar.close()

Sử dụng: find . | script.py | gzip > file.tar.gz