Kết nối nhanh nhiều tệp GZip

Tôi có danh sách các tệp gzip:

file1.gz
file2.gz
file3.gz

Có cách nào để nối hoặc nén các tệp này thành một tệp gzip mà không cần phải giải nén chúng không?

Trong thực tế, chúng tôi sẽ sử dụng điều này trong cơ sở dữ liệu web (CGI). Nơi web sẽ nhận một truy vấn từ người dùng và liệt kê tất cả các tệp dựa trên truy vấn và trình bày chúng trong một tệp hàng loạt trở lại người dùng.

Với các tệp gzip, bạn có thể chỉ cần nối các tệp với nhau, như sau:

cat file1.gz file2.gz file3.gz > allfiles.gz

Theo gzip RFC ,

Một tệp gzip bao gồm một loạt các "thành viên" (tập dữ liệu nén). [...] Các thành viên chỉ xuất hiện lần lượt trong tệp, không có thông tin bổ sung trước, giữa hoặc sau họ.

Lưu ý rằng điều này không hoàn toàn giống với việc xây dựng một tệp gzip của dữ liệu được nối; trong số những thứ khác, tất cả các tên tệp gốc được giữ nguyên. Tuy nhiên, gunzip dường như xử lý nó tương đương với một nối.

Vì các công cụ hiện có thường bỏ qua tiêu đề tên tệp cho các thành viên bổ sung, nên không dễ dàng trích xuất các tệp riêng lẻ từ kết quả. Nếu bạn muốn điều này thành có thể, hãy tạo một tệp ZIP. ZIP và GZIP đều sử dụng thuật toán DEFLATE để nén thực tế (ZIP hỗ trợ một số thuật toán nén khác cũng như một tùy chọn - phương pháp 8 là phương pháp tương ứng với nén của GZIP); sự khác biệt là ở định dạng siêu dữ liệu. Vì siêu dữ liệu không được nén nên nó đủ đơn giản để loại bỏ các tiêu đề gzip và giải quyết các tiêu đề tệp ZIP và bản ghi thư mục trung tâm để thay thế. Tham khảo thông số kỹ thuật định dạng gzip và thông số kỹ thuật định dạng ZIP .

Đây là những gì man 1 gzipnói về yêu cầu của bạn.

Nhiều tệp nén có thể được nối với nhau. Trong trường hợp này, gunzip sẽ trích xuất tất cả các thành viên cùng một lúc. Ví dụ:

gzip -c file1  > foo.gz
gzip -c file2 >> foo.gz

Sau đó

gunzip -c foo

tương đương với

cat file1 file2

Không cần phải nói, file1có thể được thay thế bằng file1.gz.

Bạn phải lưu ý điều này:

gunzip sẽ giải nén tất cả các thành viên cùng một lúc

Vì vậy, để có được tất cả các thành viên riêng lẻ, bạn sẽ phải sử dụng một cái gì đó bổ sung hoặc viết, nếu bạn muốn làm như vậy.

Tuy nhiên, điều này cũng được giải quyết trong trang người đàn ông.

Nếu bạn muốn tạo một tệp lưu trữ duy nhất với nhiều thành viên để các thành viên sau này có thể được trích xuất độc lập, hãy sử dụng trình lưu trữ như tar hoặc zip. GNU tar hỗ trợ -ztùy chọn gọi gzip một cách minh bạch. gzip được thiết kế như một bổ sung cho tar, không phải là một thay thế.

Chỉ sử dụng mèo. Nó rất nhanh (0,2 giây cho 500 MB đối với tôi)

cat *gz > final
mv final final.gz

Sau đó, bạn có thể đọc đầu ra bằng zcat để đảm bảo rằng nó đẹp:

zcat final.gz

Tôi đã thử câu trả lời khác của 'gz -c' nhưng tôi đã kết thúc với rác khi sử dụng các tệp đã được giải nén làm đầu vào (tôi đoán nó đã nén chúng gấp đôi).

PV:

Tốt hơn, nếu bạn có nó, hãy 'pv' thay vì mèo:

pv *gz > final
mv final final.gz

Điều này cung cấp cho bạn một thanh tiến trình khi nó hoạt động, nhưng thực hiện điều tương tự như mèo.

Bạn có thể tạo một tệp tar của các tệp này và sau đó gzip tệp tar để tạo tệp gzip mới

tar -cvf newcombined.tar file1.gz file2.gz file3.gz
gzip newcombined.tar