Sắp xếp lại dữ liệu (bộ chuỗi) để tối ưu hóa cho nén?

Có bất kỳ thuật toán nào để sắp xếp lại dữ liệu để tối ưu hóa cho việc nén không? Tôi hiểu điều này là cụ thể cho dữ liệu và thuật toán nén, nhưng có một từ cho chủ đề này? Tôi có thể tìm nghiên cứu ở đâu trong lĩnh vực này?

Cụ thể, tôi có một danh sách json gồm 1,5 triệu chuỗi và tôi muốn sắp xếp lại các chuỗi để nén gzip (cho HTTP) được tối ưu hóa. Sắp xếp các chuỗi khá tốt, nhưng tôi thực sự không biết điều đó có tối ưu không.

Đây là một bổ sung cho câu trả lời của Navin G lòng.

Do tệp JSON có thể được coi là cấu trúc dữ liệu cây, nên bạn có thể sử dụng biến đổi XBW cho cây, đây là phần mở rộng của biến đổi Burrows-Wheeler cho chuỗi.

Burrows - Biến đổi Wheeler là một thuật toán nén nổi tiếng hoạt động bằng cách sắp xếp lại các ký tự trong chuỗi được nén.

Để cải thiện nén gzip, bạn muốn đóng các chuỗi "tương tự" trong danh sách. Có một số cách để xác định sự tương đồng như vậy; hãy để tôi mô tả một cái hợp lý hoạt động tốt trong thực tế. Hãy nhớ lại rằng kích thước khối của gzip là 64K. Do đó, dữ liệu của bạn sẽ được chia thành các khối 64K byte và mọi khối sẽ được nén độc lập. Cần tối ưu hóa nén, người ta sẽ cần giảm thiểu số lượng k-mers riêng biệt (chuỗi con có kích thước k) trong mỗi khối. Động lực là tất cả các chuỗi con như vậy sẽ được thay thế bằng một định danh.

Mặc dù vấn đề trên là khó về lý thuyết (nó là một biến thể của phân vùng siêu dữ liệu), tồn tại các thuật toán thực tế nhanh. Tôi muốn giới thiệu phân cụm giống như LSH có thể được thực hiện với một lần chuyển qua dữ liệu của bạn. Lưu ý rằng sắp xếp theo thứ tự chữ cái là một cách khác để "gom" các chuỗi tương tự lại với nhau. Tuy nhiên, các thuật toán phân cụm chuyên ngành có thể thực hiện tốt hơn.

Một cách khác là sử dụng zstd , nhanh hơn (i), (ii) có tỷ lệ nén cao hơn và (iii) không có giới hạn về kích thước khối (và do đó, nén các chuỗi không kém bất kể thứ tự đầu vào).

Tôi đã thấy một thuật toán một thời gian trước đây có thể có thể hữu ích. Nó sử dụng thuật toán khoảng cách chỉnh sửa để tính khoảng cách giữa mỗi từ. Do đó, nó xây dựng một biểu đồ mà mỗi trọng lượng cạnh là khoảng cách này. Cuối cùng, nó nhận được một đơn đặt hàng chọn một con đường có tổng trọng số thấp nhất. Có lẽ nó có thể cải thiện gzip.