Khung MapReduce có phải là một loại BSP không?


11

Có chính xác không khi gọi khung mapReduce là một loại khung lập trình song song đồng bộ số lượng lớn mà không có bộ nhớ cục bộ trong bộ xử lý giữa các đồng bộ hóa? Nếu không, mô hình lập trình song song nào đóng gói chính xác nhất khung mapReduce?


1
đó là một câu hỏi hay!
Suresh Venkat

cảm ơn Suresh, bạn nghĩ gì, đồng ý?
Jeff Kubina

lựa chọn khó khăn trong việc lựa chọn câu trả lời tốt nhất vì tôi nghĩ tất cả đều giúp tôi có thêm kiến ​​thức về mapreduce và cách người khác xem nó. tôi đã chọn câu trả lời của Sasho vì nó dẫn tôi đến một bài báo giải quyết câu hỏi của tôi tốt nhất. cảm ơn mọi người.
Jeff Kubina

Câu trả lời:


11

Trong phần 2 của http://arxiv.org/abs/1101.1902 , các tác giả định nghĩa một mô hình MapReduce được cấu trúc có chủ ý như BSP. Họ chứng minh các định lý mô phỏng là tốt. Có thể là một nơi tốt để bắt đầu.


5

Có, ý kiến ​​của tôi là MapReduce cổ điển là một mô hình BSP (và do đó có những hạn chế vốn có của nó đối với hiệu suất song song tối đa có thể đạt được). Tuy nhiên, công việc mới hơn trên MapReduce dường như tập trung vào các khái niệm đồng bộ hóa lỏng lẻo hơn, điều này sẽ đưa "MapReduce tổng quát" này ra khỏi khuôn khổ BSP nghiêm ngặt. Cụ thể, nếu một bản sao một số dữ liệu thì cấu trúc đồng bộ hóa có thể được nới lỏng, mang lại hiệu suất tăng.

Xem ví dụ công việc của Foto Afrati và Jeff Ullman: Tối ưu hóa tham gia trong môi trường thu nhỏ bản đồ , EDBT 2010 ( bản in trước )


2

Vì trong MapReduce có một biểu đồ đơn giản và có cấu trúc nằm dưới tính toán, nên IMHO có thể được phân loại là một mô hình luồng dữ liệu.


Tôi đồng ý, MapReduce có chiến lược tính toán tương tự như một máy dataflow được gắn thẻ. Ngôn ngữ Pig của Yahoo thậm chí còn xây dựng một ngôn ngữ dataflow trên MapReduce.
Thịt bò
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.