Phân chia và chinh phục các thuật toán luồng dữ liệu

Những thuật toán hữu ích nào tồn tại hoạt động trên các luồng dữ liệu khổng lồ và kết quả của chúng khá nhỏ và người ta có thể tính kết quả cho một hỗn hợp hai luồng bằng cách nào đó hợp nhất kết quả của chúng?

Tôi có thể kể tên một vài:

• Những thứ rõ ràng như sum, min, max, Count, top-K, v.v.
• Các thuật toán luồng được gọi là "dựa trên phác thảo" gần đúng cho biểu đồ, đếm các mục riêng biệt hoặc lượng tử tính toán

Những gì người khác đang có?

(Tôi quan tâm vì tôi đang viết một dự án sở thích để giám sát các hệ thống phân tán có tính hữu ích được xác định trực tiếp bởi tính hữu ích của các thuật toán đó)

Guha và cộng sự. '03 đưa ra thuật toán xấp xỉ cho phân cụm k-median trong mô hình truyền phát. Thuật toán của họ chia dữ liệu thành các phần rời rạc, tìm trung tâm O (k) cho mỗi phần tách rời và sau đó kết hợp các kết quả để có được các trung tâm k. Đây dường như là loại thuật toán bạn đang tìm kiếm.

Bài báo của Bagchi, Chaudhary, Eppstein và Goodrich giải quyết một số vấn đề hình học trực tuyến bằng cách sử dụng chương trình con cơ bản để tính toán$\varepsilon$$\varepsilon$$i^{\text{th}}$$(i-1)^{\text{th}}$luồng -level và mức 0 là luồng ban đầu). Đây thực chất là một kết xuất từ ​​dưới lên của một chiến lược phân chia và chinh phục. với các cập nhật dọc theo "cạnh" của cây đệ quy. Về cấu trúc, nó rất giống với bài báo Guha et al được đề cập bởi Lev.

Tôi đã tìm thấy một bài báo ( "Phân phối tính toán luồng dữ liệu phụ thuộc tần số" ) nói rằng mọi chức năng phân phối tần số của luồng đều có thể kết hợp được (mặc dù nó không cung cấp một cấu trúc rõ ràng và hiệu quả cho hoạt động hợp nhất). Và bằng chứng dường như rất thú vị, liên quan đến một số lý thuyết vòng. Cần đọc bài báo trước của cùng một tác giả ( "Giới hạn thấp hơn về ước tính tần số của luồng dữ liệu" ) có kết quả chính được sử dụng làm cơ sở cho bài viết này.

Điều này làm tôi nhớ đến Định lý đồng cấu thứ ba ...

Nghiên cứu về các ngôn ngữ truy vấn luồng liên tục có thể cung cấp một số cái nhìn sâu sắc. Một ngôn ngữ như vậy là CQL , mà tôi tin rằng đang được Oracle áp dụng. Các ngôn ngữ cho phép các chức năng được tính toán trên các cửa sổ trượt của luồng (bao gồm các cửa sổ có kích thước 1). Luận án cử nhân này cung cấp một cái nhìn tổng quan gần đây về ngôn ngữ, bao gồm một số ví dụ. Bài viết này cung cấp một cái nhìn tổng quan về một số ngôn ngữ xử lý luồng, sẽ hữu ích cho việc tìm kiếm các liên kết đến nghiên cứu liên quan khác.

Tôi biết rằng điều này không trả lời trực tiếp câu hỏi của bạn, nhưng nó sẽ giúp bạn liên lạc với nghiên cứu được thực hiện bởi những người khởi hành từ cùng một điểm xuất phát.

Câu hỏi này có vẻ hơi tròn với tôi. Nếu vấn đề có thuộc tính bạn muốn, thì có một thuật toán dựa trên phác thảo và hợp nhất cho nó. Như đã đề cập ở trên, có công việc phân cụm, xấp xỉ và lõi cung cấp cho bạn điều đó. Ngoài ra, hầu hết các thuật toán phát trực tuyến cho phép hợp nhất các luồng chỉ bằng cách (theo khái niệm) nối liền một luồng với luồng khác.

Ngoài ra, tôi không chắc các thuật toán phát trực tuyến top-k có thể kết hợp được - nhưng tôi có thể sai.

Xin lỗi vì đã khắc phục điều này, nhưng tôi nghĩ rằng bạn có thể muốn xem xét một số công việc về giám sát liên tục phân tán trên các luồng, nơi bạn được cung cấp một số luồng và mục tiêu là theo dõi một số thống kê tổng hợp tại một trang web giám sát trung tâm trong khi giảm thiểu giao tiếp. Mô hình âm thanh với tôi liên quan chặt chẽ đến động lực của bạn. Nhìn vào các tài liệu tham khảo trong cuốn sách của Muthu . Một tờ giấy là đây .

Giấy của Ganguly cũng rất thú vị.