Nén cao nhất cho các tập tin (để chuyển web)?

Tôi đã thấy một số tệp được nén rất cao xung quanh, chẳng hạn như 700 MB dữ liệu được nén đến khoảng 30-50 MB.

Nhưng làm thế nào để bạn có được các tập tin nén như vậy? Tôi đã thử sử dụng phần mềm như WinRAR và 7Zip nhưng chưa bao giờ đạt được độ nén cao như vậy.

Các kỹ thuật / phần mềm cho phép bạn nén các tập tin tốt như vậy là gì?

(PS Tôi đang sử dụng Windows XP)

Nếu thời gian để nén dữ liệu không phải là vấn đề, thì bạn có thể tối ưu hóa kích thước nén bằng cách sử dụng một số công cụ khác nhau cùng nhau.

Nén dữ liệu nhiều lần bằng các công cụ khác nhau như 7zip, winrar (cho zip) và bjwflate.

(Lưu ý rằng điều này không có nghĩa là nén tệp zip nhiều lần, mà là tạo một số tệp zip thay thế bằng các công cụ khác nhau)

Tiếp theo, chạy deflopt trên mỗi kho lưu trữ để giảm mỗi kho lưu trữ thêm một chút.

Cuối cùng, chạy zipmix trên bộ sưu tập tài liệu lưu trữ. Do các công cụ zip khác nhau tốt hơn trên các tệp khác nhau, zipmix chọn phiên bản nén tốt nhất của từng tệp từ mỗi kho lưu trữ và tạo ra một đầu ra nhỏ hơn bất kỳ công cụ zip nào có thể tạo riêng lẻ.

Tuy nhiên, bạn cần lưu ý rằng điều này không được đảm bảo để thực hiện bất kỳ loại phép thuật nào trên các tệp của bạn. Một số loại dữ liệu đơn giản là không nén rất tốt, như JPEG và MP3. Những tập tin này đã được nén trong nội bộ.

Điều này phụ thuộc hoàn toàn vào dữ liệu được nén.

Văn bản nén rất tốt, định dạng nhị phân không tốt và dữ liệu nén (mp3, jpg, mpeg) hoàn toàn không.

Đây là một bảng so sánh nén tốt từ wikipedia.

Câu trả lời trước là sai bởi một thứ tự cường độ!

Thuật toán nén tốt nhất mà tôi có kinh nghiệm cá nhân là paq8o10t (xem trang zpaq và PDF ).

Gợi ý: lệnh nén files_or_ Folders sẽ như sau:

paq8o10t -5 archive files_or_folders

Nguồn: Tiện ích sao lưu và lưu trữ nhật ký gia tăng

Bạn có thể tìm thấy một bản sao của mã nguồn trên GitHub .

Một thuật toán nén tốt hơn một chút và người chiến thắng Giải thưởng Hutter , là decomp8 (xem liên kết trên trang giải thưởng). Tuy nhiên, không có chương trình nén mà bạn thực sự có thể sử dụng.

Đối với các tệp thực sự lớn, lrzip có thể đạt được tỷ lệ nén đơn giản là hài hước .

Một ví dụ từ README.benchmark:

Chúng ta hãy tách sáu cây nhân một phiên bản thành một tarball, linux-2.6.31 đến linux-2.6.36. Chúng sẽ hiển thị rất nhiều thông tin dư thừa, nhưng cách nhau hàng trăm megabyte, lrzip sẽ rất tốt trong việc nén. Để đơn giản, chỉ có 7z sẽ được so sánh vì đó là máy nén đa năng tốt nhất vào lúc này:

Đây là các điểm chuẩn được thực hiện trên Intel Core2 lõi kép 2,53Ghz với ram 4GB sử dụng lrzip v0.5.1. Lưu ý rằng nó đang chạy với không gian người dùng 32 bit nên chỉ có địa chỉ 2GB. Tuy nhiên, điểm chuẩn được chạy với tùy chọn -U cho phép toàn bộ tệp được coi là một cửa sổ nén lớn.

Tarball của 6 cây nhân liên tiếp.

Compression    Size                 Percentage      Compress    Decompress
None           2373713920           100             [n/a]       [n/a]
7z             344088002            14.5            17m26s      1m22s
lrzip          104874109            4.4             11m37s      56s
lrzip -l       223130711            9.4             05m21s      1m01s
lrzip -U       73356070             3.1             08m53s      43s
lrzip -Ul      158851141            6.7             04m31s      35s
lrzip -Uz      62614573             2.6             24m42s      25m30s

Squee817art.com chứa các so sánh về tỷ lệ nén khác nhau. Mặc dù, như đã nêu trong câu trả lời của Nifle - bạn không thể có được tỷ lệ nén cao như vậy đối với các định dạng nhị phân.

Hầu hết các công cụ nén đều có cài đặt để cho phép bạn đạt được tốc độ nén cao hơn với thời gian nén / giải nén chậm hơn và sử dụng nhiều RAM hơn.

Đối với 7-Zip, tìm kiếm "Hộp thoại Thêm vào Lưu trữ" trong phần trợ giúp tích hợp để biết thêm chi tiết.

Bạn có thể thử 7zip với các cài đặt cực sau:

7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on big_file.mysql.7z big_file.mysql

Chỉ cần kiểm tra Tóm tắt các bài kiểm tra điểm chuẩn nén nhiều tệp có danh sách nén tốt nhất bao gồm điểm chuẩn nén hoàn chỉnh.

Top 30

Những người thực hiện hàng đầu (dựa trên nén) trong thử nghiệm này là PAQ8 và WinRK (PWCM). Họ có thể nén thử nghiệm hơn 300 Mb xuống dưới 62 Mb (giảm 80% kích thước) nhưng mất tối thiểu 8,5 giờ để hoàn thành thử nghiệm. Chương trình số một (PAQ8P) mất gần 12 giờ và số bốn (PAQAR) thậm chí 17 giờ để hoàn thành bài kiểm tra. WinRK, chương trình có độ nén tốt thứ 2 (79,7%) mất khoảng 8,5 giờ. Không ngạc nhiên khi tất cả các chương trình được đề cập sử dụng một công cụ PAQ (giống như) để nén. Nếu bạn có các tệp có hình ảnh nhúng (ví dụ: tệp Word DOC) sử dụng PAQ8, nó sẽ nhận ra chúng và nén riêng chúng, tăng cường nén đáng kể. Tất cả các chương trình được đề cập (trừ WinRK) đều miễn phí.

Đặt cược tốt nhất của bạn ở đây dường như là thử nghiệm và lỗi. Hãy thử tất cả các kỹ thuật nén có sẵn của bạn trên mỗi tệp và chọn cách tốt nhất để đưa vào trang web của bạn. May mắn thay, máy tính làm điều này khá nhanh và không bị nhàm chán. Bạn có thể viết một tập lệnh đơn giản để tự động hóa quá trình để nó "tương đối không đau".

Chỉ không mong đợi phép màu - 700 mb xuống đến 30 mb chỉ không xảy ra thường xuyên. Đăng nhập tập tin như đã đề cập ở trên - có. "Tập tin trung bình của bạn" - không có cách nào.

Nanozip dường như có độ nén cao nhất cùng với FreeArc. Nhưng nó chưa có trong phiên bản cuối cùng. Có cách nén Nanozip tốt . Nó có độ nén rất cao và không mất quá nhiều thời gian, hãy kiểm tra Tóm tắt các bài kiểm tra điểm chuẩn nén nhiều tệp , nhưng FreeArc nhanh hơn.