Làm thế nào để xem dữ liệu chuỗi thời gian lớn tương tác?

10

Tôi thường xử lý lượng dữ liệu chuỗi thời gian có kích thước hợp lý, gấp 50-200 triệu với dấu thời gian liên quan và muốn hình dung chúng một cách linh hoạt.

Có phần mềm hiện có để làm điều này một cách hiệu quả? Làm thế nào về thư viện và định dạng dữ liệu? Zoom-cache là một ví dụ về thư viện tập trung vào chuỗi thời gian lớn. Trong Zoom-cache, dữ liệu được tóm tắt ở một số độ phân giải để giúp xem dễ dàng hơn ở các độ phân giải khác nhau.

Chỉnh sửa: Ngoài ra nếu có bất cứ nơi nào khác tôi nên hỏi câu hỏi này hoặc tìm kiếm một câu trả lời xin vui lòng cho tôi biết.

— Davorak
nguồn

1

Mặc dù tôi không biết làm thế nào nó sẽ mở rộng quy mô với số lượng điểm dữ liệu khổng lồ như vậy, nhưng bạn có thể muốn xem qua Cubism.js .

— chl

Tôi đã xem qua Chủ nghĩa lập thể, có vẻ tốt cho việc cập nhật biểu đồ tăng dần từ các luồng dữ liệu nối tiếp, nhưng với tìm kiếm ngắn của tôi, tôi không thấy gì về việc lưu trữ nhiều độ phân giải hoặc dữ liệu tóm tắt để tăng tốc các tập dữ liệu lớn. Đó là cho con trỏ mặc dù nó trông giống như một thư viện mát mẻ.

— Davorak

1

Bạn có thể quan tâm đến Zoomdata zoomdata.com/product/fast-data-sharpening-visualization Giá của họ khá cao mặc dù.

— chhantyal

@chhantyal - Cảm ơn! Nó trông giống như loại công cụ mà tôi đang tìm kiếm. Mặc dù tôi không còn làm việc với cùng một bộ dữ liệu, tôi vẫn quan tâm đến không gian, vì vậy tôi có thể sẽ thử đường mòn của zoomdata tại một số điểm.

— Davorak

2

Có một bộ công cụ nghiên cứu có tên TimeSearcher 1--3 cung cấp một số ví dụ về cách xử lý các bộ dữ liệu chuỗi thời gian lớn. Dưới đây là một số hình ảnh ví dụ từ TimeSearcher 2 và 3.

Người tìm thời gian 2

Người tìm thời gian 3

— edallme
nguồn

2

Xin lỗi vì tự quảng cáo, nhưng Thunderplot (thunderplot.com) sẽ là ứng cử viên sáng giá cho nó. Tôi đã viết nó chính xác cho âm mưu tương tác của các bộ dữ liệu lớn. Tôi đã không kiểm tra nó với bộ dữ liệu hàng 200KK, nhưng nó hoạt động tốt với ~ 10KK hàng. Ngoài ra còn có tính năng "đọc mọi hàng thứ N", vì vậy bạn có thể giảm lượng dữ liệu để lưu trữ / trực quan hóa. Tôi có thể gửi cho bạn khóa đăng ký để đổi lấy một trong những bộ dữ liệu lớn đó. :-)

ảnh chụp màn hình thunderplot

— Linh hồn
nguồn

0

Một bài đăng tự quảng cáo khác vì tôi làm việc cho công ty này, nhưng SensorCloud (sensorcloud.com) sử dụng thuật toán thông minh để vẽ biểu đồ dữ liệu khổng lồ rất nhanh. Ban đầu nó được thiết kế với các cảm biến vật lý của chúng tôi, nhưng nó có trình tải lên CSV để xử lý mọi dữ liệu về thời gian.

Ví dụ: chúng tôi đã tải lên một tập dữ liệu có 100 tỷ điểm dữ liệu (hơn 1 terabyte của dấu thời gian + giá trị dữ liệu) và bạn có thể vẽ biểu đồ và tương tác với nó rất nhanh.

Đây là một liên kết công khai đến tập dữ liệu đó: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/

Liên kết trên sử dụng trình xem flash của chúng tôi. Nếu bạn không muốn sử dụng flash, đây là trình xem javascript: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/

Sử dụng bánh xe cuộn hoặc Shift + nhấp chuột trái để phóng to.

— sự trở lại
nguồn