Nén dữ liệu dấu phẩy động

Có công cụ nào được thiết kế đặc biệt để nén dữ liệu khoa học dấu phẩy động không?

Nếu một chức năng trơn tru, rõ ràng có rất nhiều mối tương quan giữa các số đại diện cho chức năng đó, vì vậy dữ liệu sẽ nén tốt. Nén / gzipping dữ liệu dấu phẩy động nhị phân mặc dù không nén nó tốt. Tôi tự hỏi nếu có phương pháp được phát triển đặc biệt để nén dữ liệu dấu phẩy động.

Yêu cầu:

• Nén không mất dữ liệu hoặc khả năng chỉ định số chữ số tối thiểu được giữ lại (đối với một số ứng dụng doublecó thể nhiều hơn những gì chúng ta cần trong khi floatcó thể không có đủ độ chính xác).

• Công cụ làm việc được thử nghiệm tốt (tức là không chỉ là một bài viết mô tả một phương pháp lý thuyết).

• Thích hợp để nén dữ liệu số 1D (như chuỗi thời gian)

• Đa nền tảng (phải hoạt động trên Windows)

• Nó phải nhanh --- tốt nhất là không chậm hơn nhiều so với gzip. Tôi thấy rằng nếu tôi có các số được lưu dưới dạng ASCII, thì việc gzipping tệp có thể tăng tốc độ đọc và xử lý nó (vì thao tác có thể bị ràng buộc I / O).

Tôi đặc biệt muốn nghe từ những người thực sự đã sử dụng một công cụ như vậy.

Hãy thử Blosc . Đó là trong nhiều trường hợp nhanh hơn memcopy . Hãy suy nghĩ về điều đó trong một giây. . . độc ác.

Nó là siêu ổn định, được đánh giá cao, đa nền tảng và hoạt động như một nhà vô địch.

Tôi đã nhận được kết quả tốt khi sử dụng HDF5 và bộ lọc GZIP của nó.

HDF5 cũng cung cấp bộ lọc SZIP để đạt được kết quả tốt hơn cho một số bộ dữ liệu khoa học.

Theo kinh nghiệm của tôi, việc lựa chọn nén phụ thuộc rất nhiều vào loại dữ liệu và điểm chuẩn có lẽ là cách duy nhất để đưa ra lựa chọn tốt.

BTW, bộ lọc của bên thứ ba cho HDF5 bao gồm BLOSC, BZIP2, LZO, LZF, MAFISC.

Có thể cho rằng, bạn có thể hiểu các phương thức hồi quy hoặc biến đổi (biến đổi Fourier, biến đổi Ch Quashev) là "nén" cho dữ liệu hàm chuỗi thời gian hoặc chuỗi 1D. Thuật toán của Remez sẽ là một ứng cử viên khác. Trong trường hợp đó, sử dụng một cái gì đó như hồi quy, FFT hoặc Ch Quashev thông qua FFT sẽ hoạt động cho mục đích của bạn. Điều đó nói rằng, không có phương pháp nào trong số này hoạt động trên dữ liệu chuỗi thời gian với cấu trúc tùy ý . Ví dụ: với FFT, bạn giả định tính định kỳ và bất kỳ loại gián đoạn nào trong dữ liệu (hoặc thiếu tính định kỳ) sẽ dẫn đến hiện tượng Gibbs . Tương tự, với các phép biến đổi Ch Quashev, giả định là dữ liệu mô tả một hàm trên .$[-1,1]$

Tùy thuộc vào chức năng cơ bản, bạn có thể điều chỉnh dữ liệu thành biểu mẫu chức năng mà không gặp lỗi, yêu cầu ít hệ số hơn để mô tả biểu mẫu chức năng so với điểm dữ liệu của bạn (dẫn đến nén). Kết quả lỗi tồn tại cho một số trong những phương pháp, mặc dù tôi không biết nếu bất kỳ trong số họ sẽ cung cấp cho bạn một tiên nghiệm (hoặc một posteriori ) giới hạn hoặc ước tính về lỗi.

Bạn cũng có thể xem xét các phương thức được phát triển đặc biệt để nén các số dấu phẩy động, như FPC và các thuật toán liên quan. Xem các giấy tờ ở đây , ở đây , ở đây , ở đây , và ở đây , cùng với một trang web có chứa mã nguồn cũ ở đây .

HDF5 có thể sử dụng thuật toán "xáo trộn" trong đó các byte cho N số dấu phẩy động được sắp xếp lại sao cho các byte đầu tiên của số N đến trước, sau đó là thứ 2, v.v. Điều này tạo ra tỷ lệ nén tốt hơn sau khi gzip được áp dụng, vì nó có nhiều khả năng tạo ra các chuỗi dài hơn có cùng giá trị. Xem ở đây cho một số điểm chuẩn .

SZ (được phát triển bởi Argonne vào năm 2016) có thể là một lựa chọn tốt.

SZ: Máy nén dữ liệu dấu phẩy động có lỗi nhanh cho các ứng dụng khoa học https://collab.cels.anl.gov/display/ESR/SZ

Các phương thức có thể, có thể được sử dụng để nén dấu phẩy động:

• Chuyển đổi 4xN cho float và 8xN cho double + lz77
  Thực hiện: Nén điểm nổi trong TurboTranspose
  xem thêm nén mất mát bị ràng buộc lỗi

• Công cụ dự đoán (ví dụ: Phương pháp ngữ cảnh hữu hạn) + mã hóa (ví dụ: "nén số nguyên").
  Triển khai: Nén điểm nổi trong TurboPFor
  bao gồm nén đặc biệt cho chuỗi thời gian.

• khi có thể, hãy chuyển đổi tất cả các số dấu phẩy động sang số nguyên (ví dụ: 1,63 -> 163), sau đó sử dụng nén số nguyên

• Bạn có thể kiểm tra tất cả các phương thức này với dữ liệu của mình bằng công cụ icapp cho linux và windows.

Chúng tôi đã sử dụng ZFP với HDF5 cho dữ liệu hình ảnh y tế của chúng tôi. Nó được thực hiện cho mất mát, nén điểm nổi.

Chúng tôi đang chạy nó trên mọi thứ theo nghĩa đen và có hơn 40TB dữ liệu được lưu trữ (và đang được sử dụng!). Nó đủ nhanh để lưu dữ liệu của chúng tôi theo thời gian thực và chúng tôi có thể chỉ định độ chính xác cần thiết, vì vậy trong khi định dạng bị mất, chúng tôi không thấy bất kỳ sự khác biệt nào trong các đầu ra cuối cùng của chúng tôi.

Nếu một chức năng trơn tru, rõ ràng có rất nhiều mối tương quan giữa các số đại diện cho chức năng đó, vì vậy dữ liệu sẽ nén tốt.

Có lẽ định dạng bạn yêu cầu chỉ cần lưu trữ các giá trị bù từ giá trị này sang giá trị lân cận.

Cách khác, có thể bạn có thể sử dụng miền tần số, thậm chí có thể lưu các giá trị này dưới dạng tệp âm thanh không bị mất như "flac lossless", vì bạn yêu cầu một số thuộc tính tương tự cho âm thanh.

Tuy nhiên, tôi sẽ thực hiện một cách tiếp cận khác để cố gắng trả lời câu hỏi mà tôi hy vọng có thể giúp ích được gì đó. Như những gì bạn đang nói cũng là độ dài mô tả tối thiểu để thể hiện dữ liệu này ít hơn việc cung cấp tất cả các điểm dữ liệu.

https://en.wikipedia.org/wiki/Minimum_description_length

Hiệu quả một chương trình, mã máy tính, là một ví dụ tốt. Và nếu bạn không bận tâm rằng một cái gì đó chủ yếu là dữ liệu hoạt động bằng cách thực thi và cũng là mã, thì bạn có thể nén các giá trị dấu phẩy động của mình vào một thứ gì đó như hàm hoặc định dạng.

Làm điều này đặc biệt tốt tự động, và trong một số lượng tính toán thực tế, vượt quá khó. Tuy nhiên, Ngôn ngữ Wolfram cung cấp một số chức năng để thử điều này:

https://reference.wolfram.com/lingu/ref/FindSequenceFunction.html https://reference.wolfram.com/lingu/ref/FindGeneratingFunction.html https://reference.wolfram.com/lingu/ref/FindFormula. html

https://reference.wolfram.com/lingu/ref/RSolve.html

Tại sao không chỉ lưu float32 / float16? Trong numpy,

A.astype( np.float32 )  # 100M: 200 msec imac
A.astype( np.float16 )  # 100M: 700 msec

Những điều này sẽ không xảy ra nếu bạn mô phỏng hiệu ứng Bướm trong lý thuyết hỗn loạn, nhưng chúng có thể hiểu được, có thể mang theo được, "không yêu cầu bất kỳ công việc nào từ phía tôi". Và nén 2: 1/4: 1 trên float64 rất khó để đánh bại :)

Ghi chú:

"Kiểu mảng float16 không được hỗ trợ trong np.linalg"; bạn sẽ phải mở rộng nó lên 32 hoặc 64 sau khi đọc nó.

Để xem các tham số dấu phẩy động khác nhau như thế nào,

import numpy as np
for f in [np.float64, np.float32, np.float16]:
    print np.finfo(f)

Để biết sơ đồ của một trường hợp thử nghiệm tầm thường so sánh float 64 32 và 16, xem tại đây .