Làm thế nào để XZ một thư mục với TAR bằng cách sử dụng nén tối đa?

Vì vậy, tôi cần phải nén một thư mục với nén tối đa.

Làm thế nào tôi có thể làm điều đó với xz? Ý tôi là tôi cũng sẽ cần tarvì tôi không thể nén một thư mục xz. Có một oneliner để sản xuất ví dụ foo.tar.xz?

Giả sử xztôn vinh bộ cờ lệnh tiêu chuẩn - bao gồm các cờ mức nén, bạn có thể thử:

tar -cf - foo/ | xz -9 -c - > foo.tar.xz 

Với một GNU gần đây tartrên bash hoặc shell có nguồn gốc:

XZ_OPT=-9 tar cJf tarfile.tar.xz directory

Công tắc j chữ thường của tar sử dụng bzip, công tắc J viết hoa sử dụng xz.

Biến XZ_OPTmôi trường cho phép bạn đặt xzcác tùy chọn không thể truyền qua các ứng dụng gọi điện như tar.

Điều này bây giờ là tối đa .

Xem man xzcác tùy chọn khác mà bạn có thể đặt ( -e/ --extreme có thể cung cấp cho bạn một số lợi ích nén bổ sung cho một số bộ dữ liệu).

XZ_OPT=-e9 tar cJf tarfile.tar.xz directory

XZ_OPT=-9e tar cJf tarfile.tar.xz directory

thậm chí còn tốt hơn

XZ_OPT=-9 tar cJf tarfile.tar.xz directory

Nếu bạn có 16 GiB RAM (và không có gì khác đang chạy), bạn có thể thử:

tar -cf - foo/ | xz --lzma2=dict=1536Mi,nice=273 -c - > foo.tar.xz 

Điều này sẽ cần 1,5 GiB để giải nén và khoảng 11 lần so với nén. Điều chỉnh cho phù hợp với số lượng bộ nhớ ít hơn.

Điều này sẽ chỉ hữu ích nếu dữ liệu thực sự lớn, và trong mọi trường hợp, nó sẽ không giúp được RẤT NHIỀU , nhưng vẫn ...

Nếu bạn đang nén nhị phân, hãy thêm --x86 làm tùy chọn xz đầu tiên. Nếu bạn đang chơi với các tệp "đa phương tiện" (âm thanh không nén hoặc bitmap), bạn có thể thử với --delta = dist = 2 (thử nghiệm với giá trị, các giá trị tốt để thử là 1..4).

Nếu bạn cảm thấy rất phiêu lưu, bạn có thể thử chơi với nhiều tùy chọn LZMA hơn, như

--lzma2=dict=1536Mi,nice=273,lc=3,lp=0,pb=2

(đây là các cài đặt mặc định, bạn có thể thử các giá trị trong khoảng từ 0 đến 4 và lc + lp không được vượt quá 4)

Để xem cách cài đặt mặc định ánh xạ tới các giá trị này, bạn có thể kiểm tra tệp nguồn src / liblzma / lzma / lzma_encoder_presets.c. Không có gì đáng quan tâm ở đó mặc dù (-e đặt độ dài đẹp là 273 và cũng điều chỉnh độ sâu).

Bạn có thể thử các tùy chọn khác nhau, đối với tôi -4e hoạt động tốt hơn

tar cf - wam_GG_${dir}.nc | xz -4e > wam_GG_${dir}.nc.tar.xz 

Tôi đã thử nghiệm bằng cách chạy:

$ tar -cf - wam_GG.nc | xz -4e > wam_GG.nc.xz
$ tar -cf - wam_GG.nc | xz -9e > wam_GG.nc.xz.2

Vì vậy, có vẻ như tùy chọn -4e hoạt động tốt hơn một chút so với -9e.

$ ll wam_GG.nc.xz*
-rw-rw-r--. 1 504 504 2707596 Jan 16  2015 wam_GG.nc.xz
-rw-rw-r--. 1 504 504 2708416 Jan 16  2015 wam_GG.nc.xz.2

tar --help : -I, --use-compress-program=PROG

tar -I 'xz -9' -cvf foo.tar.xz foo/  
tar -I 'gzip -9' -cvf foo.tar.gz foo/    

cũng nén với máy nén ngoài:

tar -I 'lz4 -9' -cvf foo.tar.lz4 foo/
tar -I 'zstd -19' -cvf foo.tar.zst foo/

giải nén máy nén ngoài:

tar -I lz4 -xvf foo.tar.lz4  
tar -I zstd -xvf foo.tar.zst  

danh sách lưu trữ máy nén ngoài:

tar -I lz4 -tvf foo.tar.lz4
tar -I zstd -tvf foo.tar.zst

tarlệnh sử dụng Jcờ cho các tệp xz. Một ví dụ:

tar -cJvf foo.tar.xz foo/

Đối với những người quan tâm, -e9nhỏ hơn 0,4%, chậm hơn 20% khi nén, chậm hơn 3% khi giải nén, so với -9trên một máy tính xách tay thông thường. Đây là thời gian chạy trên cấu trúc thư mục mã nguồn Python.

Nén:

$ Tbefore=`date +%s%3N` && XZ_OPT=-9 tar cJf python3.6.tar.9xz Python-3.6.0 && Tafter=`date +%s%3N`
$ python -c "print((float($Tafter) - float($Tbefore)) / 1000.)"
43.87
$ Tbefore=`date +%s%3N` && XZ_OPT=-e9 tar cJf python3.6.tar.e9xz Python-3.6.0 && Tafter=`date +%s%3N`
$ python -c "print((float($Tafter) - float($Tbefore)) / 1000.)"
53.861

Giảm bớt sức ép:

$ Tbefore=`date +%s%3N` && tar xf python3.6.tar.9xz && Tafter=`date +%s%3N`
$ python -c "print((float($Tafter) - float($Tbefore)) / 1000.)"  && rm -rf Python-3.6.0
1.395
$ rm -rf Python-3.6.0
$ Tbefore=`date +%s%3N` && tar xf python3.6.tar.e9xz && Tafter=`date +%s%3N`
$ python -c "print((float($Tafter) - float($Tbefore)) / 1000.)"  && rm -rf Python-3.6.0
1.443

Kích thước tập tin:

$ rm -rf Python-3.6.0
$ Tbefore=`date +%s%3N` && tar xf Python-3.6.0.tar.xz && Tafter=`date +%s%3N`
$ python -c "print((float($Tafter) - float($Tbefore)) / 1000.)" && rm -rf Python-3.6.0
1.49
$ ls -al ?ython*
-rw-rw-r-- 1 hobs hobs 16378500 Dec 23 13:06 python3.6.tar.9xz
-rw-rw-r-- 1 hobs hobs 16314420 Dec 23 13:05 python3.6.tar.e9xz
-rw-rw-r-- 1 hobs hobs 16805836 Dec 23 12:24 Python-3.6.0.tar.xz

Đây không phải là một câu trả lời chính xác cho câu hỏi của bạn nhưng bạn có thể sử dụng một lệnh thay vì hai:

7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on archive.7z dir1

thêm tất cả các tệp từ thư mục "dir1" vào kho lưu trữ.7z bằng cách sử dụng "ultras settings"

các định dạng khác được hỗ trợ là: zip, gzip, bzip2 hoặc tar. cho điều này chỉ cần thay thế 7zsau -t.
- nguồnman 7z

LƯU Ý: không sử dụng lệnh này để sao lưu các tệp hệ thống của bạn ngoại trừ các tệp cá nhân vì định dạng 7z không lưu trữ các quyền của hệ thống tệp .

Trong máy đa lõi từ phiên bản v5.2.0 của xz-utils, hãy kiểm tra:

-T, --threads=NUM   use at most NUM threads; the default is 1; set to 0

Nếu bạn muốn sử dụng số lượng lõi tối đa và nén tối đa:

export XZ_DEFAULTS="-9 -T 0 "

Hoặc đặt -T thành số lõi bạn muốn sử dụng.

Sau đó:

tar cJf target.tar.xz source

Ngoài ra, điều này có thể hữu ích để chọn mức nén:

https://catchchallenger.first-world.info/wiki/Quick_Benchmark:_Gzip_vs_Bzip2_vs_LZMA_vs_XZ_vs_LZ4_vs_LZO

Nếu bạn muốn điều này hoàn thành nhanh hơn, sử dụng nhiều luồng, nhưng không làm chậm hệ thống của bạn trong khi bạn thực hiện công việc khác, hãy thử thêm -Tnn là bao nhiêu luồng bạn muốn sử dụng, cũng như nicegiảm mức độ nén cho mức độ ưu tiên nhàn rỗi.

Mô hình (cho 4 chủ đề):

tar c foo/ | nice -n19 xz -9 -T4 > foo.tar.xz

Hãy thử xem trong tophoặc htopkhi bạn làm điều này trong một thư mục lớn (vài GB). Bạn hy vọng sẽ thấy một số xzchủ đề có giá trị Nice là 19 (mức ưu tiên thấp nhất).

Tôi cũng đã loại bỏ điều này xuống một cách ngắn gọn như hợp lý, chẳng hạn như: -f -các câu trả lời khác đơn giản là không cần thiết, vì tarđầu ra mặc định của nó là thiết bị xuất chuẩn.

Bạn cũng có thể nicexử lý tar, nhưng tôi chưa bao giờ thấy cần thiết, vì xzluôn luôn làm tắc nghẽn CPU cho đường ống.

Lưu ý thực tế, tôi hiếm khi sử dụng xz -9cho bất cứ điều gì, không quá nhiều do CPU hoặc thời gian, nhưng vì nhu cầu bộ nhớ cao. Hãy xem https://catchchallenger.first-world.info/wiki/Quick_Benchmark:_Gzip_vs_Bzip2_vs_LZMA_vs_XZ_vs_LZ4_vs_LZO#Memory_Vquirements_on_compression . Máy xznén, giống như bzip2, nhưng không giống như gzip, sử dụng nhiều bộ nhớ hơn cho các yếu tố nén cao hơn. Đặt nó cùng với việc xzsử dụng bộ nhớ nhiều hơn bất kỳ máy nén nào khác, bạn có thể dễ dàng sử dụng hơn 600 MB bộ nhớ. Và nếu bạn sử dụng -Tđể cho phép nén luồng, nhu cầu bộ nhớ sẽ tăng hơn nữa. Chỉ cần lưu ý một chút, như nếu bạn đang chạy một số dịch vụ nhỏ trên máy ảo nhỏ có bộ nhớ 1-2 GB, bạn có thể vô tình gây ra tác động.

Trên Mac OS X, một cách tiếp cận khác để truyền tham số tarlà sử dụng --options=cờ. Ví dụ,

tar Jcvf targetFileName.tar.xz --options='compression-level=9' directoryName