Có thể nén một tệp rất lớn (~ 30 GB) bằng gzip không? Nếu vậy, tôi nên sử dụng các lệnh, công tắc và tùy chọn nào?
Hoặc có một chương trình khác (tốt nhất là một chương trình thường có trên các bản phân phối Ubuntu) mà tôi có thể sử dụng để nén / nén các tệp rất lớn? Bạn có bất kỳ kinh nghiệm với điều này?
Câu trả lời:
AFAIK không có giới hạn kích thước cho gzip- ít nhất không phải là 30 GB. Tất nhiên, bạn cần không gian cho tệp nén trên đĩa của mình, cả hai phiên bản sẽ ở đó đồng thời trong khi nén.
bzip2 nén các tệp (không chỉ các tệp lớn :-) tốt hơn, nhưng chậm hơn (đôi khi rất nhiều).
pbzip- nó sẽ sử dụng nhiều hơn một lõi CPU. Nhưng vẫn chậm hơn gzip.
pbzip2
Nếu bạn cần một tỷ lệ bù đắp tốt, bạn có thể thử lzma. nó nhanh hơn và hiệu quả hơn bzip2 và có thể nhanh hơn cả gzip (tôi không biết điều đó chắc chắn)
http: //www.thegeek ware.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/
lzmaxzbây giờ không được ủng hộ Cùng một thuật toán, định dạng tệp hơi khác nhau (được cải thiện?) Bao quanh nó. LZMA chậm hơn gzip, nhưng ở tốc độ tối đa, nó vẫn nén khá tốt đối với những thứ dư thừa như dữ liệu JSON. ( xz -0)
Định dạng gzip đại diện cho kích thước đầu vào modulo 2 ^ 32, do đó,
--listtùy chọn báo cáo kích thước không nén và tỷ lệ nén không chính xác cho các tệp không nén 4 GB trở lên.
Vì vậy, lấy bzip2(v1.0.2 trở lên) hoặc xz.
XZ được đặt ở mức nén thấp nhất cũng có thể đánh bại gzip để tăng tốc và nén.
pxz -9ve - <in >out.xzvà bạn sẽ nướng một con gà trên PC của bạn, nhưng kết quả sẽ là khoảng 60% kết quả gzip. Bạn cần khoảng 7 GB cho điều đó.