Phân tích độ phức tạp thời gian cho mô hình Map-Giảm

Tôi đang cố gắng thiết kế lại thuật toán của mình để chạy trên mô hình Hadoop / MapReduce. Tôi đã tự hỏi nếu có bất kỳ cách tiếp cận toàn diện nào để đo độ phức tạp thời gian cho các thuật toán trên nền tảng Dữ liệu lớn.

Một ví dụ đơn giản, lấy trung bình n (= 1 tỷ) số có thể được thực hiện trên O (n) + C (giả sử phép chia là hoạt động thời gian không đổi). Nếu tôi phá vỡ thuật toán song song hóa lớn này cho Map Giảm, bằng cách chia dữ liệu cho k nút, độ phức tạp thời gian của tôi sẽ đơn giản trở thành O (n / k) + C + C '. Ở đây, C 'có thể được coi là chi phí thời gian lập kế hoạch công việc khởi động. Lưu ý rằng không có sự xáo trộn nào liên quan và công việc của bộ giảm tốc gần như không đáng kể.

Tôi quan tâm đến một phân tích đầy đủ hơn về thuật toán với các vòng lặp lặp trên dữ liệu và liên quan đến các hoạt động xáo trộn và giảm tốc nặng. Tôi muốn kết hợp, nếu có thể, các hoạt động I / O và chuyển dữ liệu mạng.

S. Arora, B. Barak, Phương pháp hiện đại phức tạp tính toán, Chương 13 là một tài liệu giới thiệu tốt cho chủ đề này:

Sự phức tạp trong giao tiếp liên quan đến kịch bản sau đây. Có hai người chơi có sức mạnh tính toán không giới hạn, mỗi người nắm giữ một$n$ đầu vào bit, nói $x$ và $y$. Không ai biết đầu vào của người khác và họ muốn hợp tác tính toán$f(x, y)$ chức năng ở đâu $f : \{0, 1\}^n \times \{0, 1\}^n \rightarrow \{0, 1\}$được cả hai biết đến. Hơn nữa, họ đã thấy trước tình huống này (ví dụ, một trong các bên có thể là tàu vũ trụ và bên kia có thể là trạm cơ sở trên trái đất), vì vậy họ đã biết - trước khi họ biết đầu vào của mình$x, y$- đồng ý với một giao thức cho truyền thông. Chi phí của giao thức này là số bit được người chơi truyền đạt cho sự lựa chọn đầu vào trong trường hợp xấu nhất$x, y$.

Thấy bạn đúng nhưng bạn biết khá khó để nói độ phức tạp thời gian cụ thể của việc giảm bản đồ. Nó phụ thuộc vào truy vấn. Nhưng trong trường hợp đó nên là o (nlogn / k) + c + c 'vì k nút. Tất cả các truy vấn ngắn này bao gồm giai đoạn ánh xạ của texhnique giảm bản đồ tuân theo khái niệm Btree. Từ nơi đó để tính toán bên trong, chúng tôi có thể nói rằng độ phức tạp thời gian của nó> o (nlogn) + c + c '.

Xin hãy sửa lời đề nghị của tôi.