Những năm 1980 đã tạo ra cả hai mô hình tính toán song song PRAM và BSP . Có vẻ như thời hoàng kim của cả hai người mẫu là vào cuối những năm 80 và đầu những năm 90.
Những lĩnh vực này vẫn còn hoạt động về mặt nghiên cứu cho các thuật toán song song? Có mô hình mới tinh vi hơn cho tính toán song song? Các mô hình chung vẫn còn thịnh hành, hay các nhà nghiên cứu đang cố gắng chuyên môn hóa với tính toán GPGPU hoặc Cloud dựa trên thời trang?
Câu trả lời:
Có một số mô hình nổi xung quanh, nhưng một số mô hình nổi bật nhất là:
Có một hội thảo vào tháng trước tại DIMACS về chủ đề này: việc đọc tóm tắt sẽ cung cấp cho bạn nhiều gợi ý hơn.
Tôi xin lỗi trước cho định dạng bài đăng trên blog của câu trả lời của tôi. Tôi không thể giúp mình tạo ra một cái nhìn tổng quan nhỏ về thế giới điện toán song song.
Bạn có thể phân loại các mô hình lập trình song song theo khoảng hai loại: mô hình luồng điều khiển và luồng dữ liệu.
Các mô hình dòng điều khiển cố gắng làm cho tính song song hoạt động trong bối cảnh của một chương trình kiểm soát rõ ràng, về cơ bản là mọi máy tính lập trình ngày nay. Vấn đề cơ bản đang được giải quyết là một "kiến trúc Von Neumann" như vậy không được thiết kế để thực hiện song song, nhưng tính toán tuần tự hiệu quả. Tính song song trong bối cảnh như vậy có được bằng cách nhân đôi các phần của các mô-đun cơ bản (bộ nhớ, điều khiển, số học).
Sao chép chỉ số học cung cấp cho bạn các hướng dẫn SIMD, tất cả ALU chia sẻ cùng một Bộ đếm chương trình (PC) và do đó luôn luôn thực hiện cùng một hoạt động song song, mặc dù trên các dữ liệu khác nhau.
Sao chép ALU và PC nhưng giữ trình sắp xếp lệnh bên trong bộ điều khiển mang lại cho bạn thực thi Out of Order (OoO) mang lại một số đường ống song song. Trong danh mục này, bạn cũng có các kỹ thuật dự đoán từ rất dài (VLWI) và các kỹ thuật dự đoán rẽ nhánh. Bạn hiếm khi thấy thể loại này ở cấp độ phần mềm mặc dù.
Đi xa hơn một chút là sao chép toàn bộ 'lõi' nhưng giữ cho bộ nhớ được chia sẻ, đây là các bộ xử lý đa lõi hiện tại cung cấp cho bạn tính song song (hoặc luồng). Chia sẻ bộ nhớ trong ngữ cảnh này cung cấp cho bạn các vấn đề tương tranh rất, rất khó khăn và tinh tế . Do đó, các tính toán song song trên đa lõi hiện tại hoàn toàn xoay quanh các vấn đề đồng bộ hóa / đồng thời, cân bằng hiệu suất cẩn thận (không đồng bộ hóa) và ngữ nghĩa mong muốn (hoàn toàn đồng bộ hóa, ngữ nghĩa thực thi tuần tự). Các ví dụ của việc này là PRAM hoặc phổ biến hơn những ngày này các Cilk ofshoots như ngã ba / join ( IntelTBB , Java.Utils.Concurrency). Các mô hình CSP và Actor là các mô hình đồng thời, nhưng như đã đề cập ở trên đồng thời và tính song song trở nên mờ nhạt trong môi trường bộ nhớ chia sẻ. nb song song là cho hiệu suất, đồng thời để duy trì ngữ nghĩa chính xác.
Bộ nhớ trùng lặp cũng cung cấp cho bạn các máy tính nối mạng được lập trình với MPI và ilk của nó hoặc chỉ là các kiến trúc không phải Von Neumann lạ như bộ xử lý mạng trên chip (bộ xử lý đám mây, Transputer, Tilera). Các mô hình bộ nhớ như UMA hoặc NUMA cố gắng duy trì ảo giác của bộ nhớ dùng chung và có thể tồn tại ở cấp độ phần mềm hoặc phần cứng. Bộ KH & ĐT duy trì tính song song ở cấp độ chương trình và chỉ giao tiếp qua tin nhắn. Truyền tin nhắn cũng được sử dụng ở cấp độ phần cứng để liên lạc và đồng thời (Transputer).
Loại thứ hai là các mô hình dòng dữ liệu . Chúng được thiết kế vào buổi bình minh của thời đại máy tính như một cách để viết ra và thực hiện các tính toán song song, tránh thiết kế Von Neumann. Những thứ này đã không còn thịnh hành (đối với điện toán song song) vào thập niên 80 sau khi hiệu suất tuần tự tăng theo cấp số nhân. Tuy nhiên, rất nhiều hệ thống lập trình song song như Google MapReduce, Bộ sưu tập đồng thời của Dryad của Intel hay trên thực tế là các mô hình tính toán dataflow. Tại một số điểm, chúng biểu diễn các tính toán dưới dạng biểu đồ và sử dụng nó để hướng dẫn thực hiện.
Bằng cách chỉ định các phần của các mô hình, bạn sẽ có được các danh mục và ngữ nghĩa khác nhau cho mô hình dataflow. Bạn giới hạn hình dạng của biểu đồ là gì: DAG (CnC, Dryad), cây (mapreduce), digraph? Có ngữ nghĩa đồng bộ hóa nghiêm ngặt ( Luster, lập trình phản ứng]? Bạn không cho phép đệ quy để có thể có một lịch biểu tĩnh (StreaMIT) hoặc bạn có cung cấp sức mạnh biểu cảm hơn bằng cách có một lịch trình động (Intel CnC) không? Có giới hạn về số lượng các cạnh đến hoặc đi? Các ngữ nghĩa bắn có cho phép bắn nút khi một tập hợp con của dữ liệu đến có sẵn không? Là các luồng dữ liệu cạnh (xử lý luồng) hoặc mã thông báo dữ liệu đơn (gán đơn tĩnh / động). Đối với công việc liên quan, bạn có thể bắt đầu bằng cách xem công việc nghiên cứu dataflow của những người như Arvind, K. Kavi, j. Sharp, W. Ackerman, R. Jagannathan, v.v.
Chỉnh sửa: Vì lợi ích của sự hoàn chỉnh. Tôi nên chỉ ra rằng cũng có các mô hình điều hướng giảm và điều khiển mô hình song song . Đối với các chiến lược giảm, bạn có thể giảm đồ thị và giảm chuỗi. Haskell về cơ bản sử dụng giảm đồ thị, đây là một chiến lược rất hiệu quả trên hệ thống bộ nhớ chia sẻ tuần tự. Sao chép chuỗi giảm hoạt động, nhưng có thuộc tính bộ nhớ riêng giúp nó phù hợp hơn với việc được song song hóa. Các mô hình hướng mẫu là các ngôn ngữ logic song song, chẳng hạn như prolog đồng thời. Mô hình Actor cũng là một mô hình theo định hướng mẫu, nhưng có đặc điểm bộ nhớ riêng.
Tái bút Tôi sử dụng rộng rãi thuật ngữ 'mô hình', bao trùm các máy trừu tượng cho cả mục đích chính thức và lập trình.
Đối với các kiến trúc truyền thông điệp, một mô hình khá giống với BSP nhưng dễ xử lý hơn và với phân tích hiệu suất gần với những gì bạn thực sự có được trên một máy thật chắc chắn là CGM hoặc Máy tính đa năng thô. Nó được đề xuất bởi Frank Dehne, và bạn sẽ tìm thấy nhiều bài báo thú vị trình bày các thuật toán được phát triển trong bối cảnh này.
CGM phù hợp với các kiến trúc hạt thô giả sử bộ xử lý p, mỗi bộ có bộ nhớ cục bộ O (n / p) và kích thước của đầu vào n lớn hơn nhiều (cách nhau độ lớn) so với p, tức là p≪n. Do đó, mô hình bản đồ tốt hơn nhiều so với các kiến trúc hiện tại; nó đã được nghiên cứu rộng rãi. Mô hình này dựa trên các giả định sau: (i) các thuật toán thực hiện cái gọi là siêu bước, bao gồm một pha tính toán cục bộ và một pha giao tiếp giữa các bộ xử lý với đồng bộ hóa rào cản trung gian, (ii) tất cả các bộ xử lý p có quyền truy cập vào Bộ nhớ cục bộ O (n / p), (iii) trong mỗi siêu bước, bộ xử lý có thể gửi và nhận tối đa các phần tử O (n / p) và (iv) mạng truyền thông giữa các bộ xử lý có thể tùy ý. Trong mô hình này, một thuật toán được đánh giá với thời gian tính toán và số vòng truyền thông. Mặc dù mô hình là đơn giản, tuy nhiên nó cung cấp một dự đoán hợp lý về hiệu suất thực tế của các thuật toán song song; thật vậy, các thuật toán song song cho CGM thường có phân tích độ phức tạp về mặt lý thuyết rất gần với thời gian thực tế được xác định bằng thực nghiệm khi thực hiện và đo điểm chuẩn cho chúng.
Bộ nhớ ngoài song song (PEM) là sự kết hợp tự nhiên của máy bộ nhớ dùng chung kiểu PRAM với mô hình bộ nhớ ngoài. Nó tập trung vào ý nghĩa của bộ nhớ cache riêng.
Từ những gì tôi biết, các mô hình BSP và LogP được sử dụng ngày nay cho các thuật toán phân tán. Ngoài ra, kể từ khi tính toán GPU, PRAM trở nên phổ biến trở lại, tuy nhiên, người ta nên đưa vào hệ thống phân cấp bộ nhớ trong phân tích. Bạn có thể kiểm tra mô hình UPMH (phân cấp bộ nhớ song song thống nhất) bổ sung độc đáo cho PRAM.
B. Alpern, L. Carter, E. Feig và T. Selker. Các mô hình phân cấp bộ nhớ thống nhất của tính toán. Thuật toán, 12: 72 Từ 109, 1994. 10.1007 / BF01185206.
Bowen Alpern, Larry Carter và Jeanne Ferrante. Mô hình hóa các máy tính song song như hệ thống phân cấp bộ nhớ. Trong Proc. Các mô hình lập trình cho máy tính song song lớn, trang 116 Đài 123. Nhà xuất bản Xã hội Máy tính IEEE, 1993.
Ngoài ra đối với điện toán GPU, đã có một đề xuất cho một mô hình điện toán lý thuyết; mô hình K:
Gabriele Capannini, Fabrizio Silvestri và Ranieri Baraglia. Mô hình K: Một mô hình tính toán mới cho bộ xử lý luồng. Trong Kỷ yếu của Hội nghị quốc tế lần thứ 12 năm 2010 về Điện toán và Truyền thông hiệu suất cao, HPCC '10, trang 239 Tường246, Wash-ton, DC, USA, 2010. Xã hội máy tính IEEE.
Cuối cùng, tôi đã thấy automata di động (CA) được mô hình hóa như các máy tính song song, cá nhân tôi nghĩ rằng đây là một chủ đề nghiên cứu rất thú vị. Ai biết được trong các bộ xử lý trong tương lai sẽ được thực hiện theo cách này, giống như không gian tính toán nhỏ. Tôi không có một tài liệu tham khảo chắc chắn cho điều này, bạn có thể tìm trên web.
Các chương trình chức năng thuần túy cho phép thực hiện song song các biểu thức độc lập. Do đó, tôi sẽ tính chúng là các mô hình tính toán song song.
Tôi thích cách tiếp cận Bader-Jaja (xem phần 2.1). Bạn mô hình phức tạp như một vấn đề truyền thông điệp. Đối với mỗi tin nhắn được gửi, có cả một biến cho độ trễ để bắt đầu truyền thông và một biến cho băng thông.
bạn đề cập đến điện toán đám mây một cách cụ thể. đã có chỉ trong vòng một vài năm đổi mới mạnh mẽ trong lĩnh vực này với Amazon tính đàn hồi điện toán đám mây, các công cụ ứng dụng google & công cụ khác nhau và chế biến của họ "mô hình" song song khái niệm liên quan.
các công cụ nguồn mở đặc biệt bao gồm cơ sở dữ liệu Mapreduce , Apache Hadoop và NoQuery của google đang nổi lên như là các tiêu chuẩn mới, mạnh mẽ, được điều chỉnh rộng rãi trong thuật toán song song "thực tiễn tốt nhất" và "mẫu thiết kế". Ngoài ra memcacheD đang ngày càng được sử dụng như một cơ sở dữ liệu phân tán trong bộ nhớ. một ví dụ về điều này được sử dụng tại Facebook được mô tả trong một bài báo gần đây [1].
[1] Nhiều kho lưu trữ khóa-giá trị cốt lõi của Berezecki et al
một góc khác về điều này. thừa nhận điều này có thể được coi là hơi mơ hồ hoặc rìa bởi một số người, nhưng có một số công việc song song, nói chung, các thuật toán xác suất, được khẳng định là hơi phù hợp tự nhiên với song song.
xem ví dụ: Tính toán xác suất song song trên cụm máy trạm Radenski, Vann, Norris:
Các thuật toán xác suất là các phương pháp gần đúng chuyên sâu tính toán để giải quyết các vấn đề khó khăn. Các thuật toán xác suất là ứng cử viên tuyệt vời cho các tính toán cụm vì chúng đòi hỏi ít giao tiếp và đồng bộ hóa. Có thể chỉ định một cấu trúc điều khiển song song phổ biến như một thuật toán chung cho các tính toán cụm xác suất. Một thuật toán song song chung như vậy có thể được dán cùng với các thuật toán tuần tự cụ thể theo miền để rút ra các giải pháp song song gần đúng cho các vấn đề khó khăn khác nhau. Trong bài báo này, chúng tôi đề xuất một thuật toán chung cho các tính toán xác suất trên một cụm máy trạm. Chúng tôi sử dụng thuật toán chung này để rút ra các thuật toán song song cụ thể cho hai vấn đề tối ưu hóa riêng biệt: vấn đề về chiếc ba lô và vấn đề nhân viên bán hàng du lịch.
trong trường hợp không rõ ràng, "cấu trúc điều khiển song song chung như một thuật toán chung" được đề cập cùng với tính toán xác suất và chuyển đổi tổng thể, là "mô hình".
có thể lập luận rằng tính toán xác suất không hoàn toàn là tính toán cổ điển hoặc Turing hoàn chỉnh. Vì vậy, lưu ý rằng có một số công việc trong việc buộc cổ điển với tính toán xác suất cũng đặc biệt trong bối cảnh song song, ví dụ
Lý do về các chương trình song song xác suất của Rao:
Việc sử dụng ngẫu nhiên trong thiết kế và phân tích các thuật toán hứa hẹn các thuật toán đơn giản và hiệu quả cho các vấn đề khó khăn, một số trong đó có thể không có giải pháp xác định. Sự đạt được tính đơn giản, hiệu quả và khả năng giải quyết này dẫn đến sự đánh đổi giữa khái niệm truyền thống về tính chính xác tuyệt đối của thuật toán cho một khái niệm định lượng hơn: tính chính xác với xác suất từ 0 đến 1. Việc thêm khái niệm song song vào không trực quan ý tưởng về ngẫu nhiên làm cho lý luận về các chương trình song song xác suất trở nên khó khăn và khó khăn hơn. Trong bài báo này, chúng tôi đề cập đến vấn đề chỉ định và lấy các thuộc tính của các chương trình song song xác suất có thể xác định hoặc với xác suất 1.
tất nhiên tính toán QM rất giống với tính toán xác suất (một tài liệu hay nhấn mạnh đây là Quan điểm tính toán lượng tử của một lý thuyết phức tạp của Fortnow ) & có một số gợi ý những cách tiếp cận này có thể được mở rộng ở đó, ví dụ như trong công việc mô phỏng QM song song.
điều này sẽ được coi là gây tranh cãi bởi một số người, và thậm chí những người đề xuất góc độ này sẽ phải thừa nhận nó trong giai đoạn đầu nghiên cứu, nhưng về cơ bản là điện toán lượng tử dường như có nhiều mối liên hệ với tính toán song song và tính toán song song. các tài liệu tham khảo hiện đang phân tán nhưng một chủ đề mới nổi có thể được nhìn thấy bởi một nhà nghiên cứu xác định.
có lẽ kết nối tốt nhất là với thuật toán tìm kiếm Grovers gần đây đã được chứng minh là tổng quát hơn theo nghĩa có thể sử dụng để tăng tốc cho hầu hết các vấn đề hoàn chỉnh NP nói chung [5]. Thuật toán Grovers dường như có sự tương tự / kết nối mạnh mẽ với các thuật toán tìm kiếm cơ sở dữ liệu song song. các thuật toán nối tiếp cổ điển tốt nhất không thể đáp ứng cùng một hiệu suất nhưng ít nhất một cơ quan gần đây lập luận rằng các phương pháp tiếp cận QM cho tìm kiếm thực sự không vượt trội hơn các thuật toán cổ điển song song. [1]
bằng chứng nữa là các sơ đồ nhìn rõ ràng sự song song trong tìm kiếm lượng tử, ví dụ [2]. cũng mô phỏng lượng tử đã được đề xuất dựa trên xử lý song song / phân tán [3] [4] và vì sơ đồ này phù hợp & dẫn đến mô phỏng hiệu quả và dễ điều khiển (30 qubit được mô phỏng trong ref [3]), chuyển đổi này chắc chắn không chỉ đơn thuần là sự trùng hợp và chỉ ra một cầu nối sâu sắc hơn giữa điện toán cổ điển song song và điện toán QM, mà có lẽ cho đến nay vẫn chưa được khám phá.
[1] Tìm kiếm lượng tử có thực tế không? bởi Viamontes et al
[2] Tìm kiếm lượng tử chính xác bằng các sơ đồ phân biệt đối xử đơn nhất song song của Wu / Dian
[3] Trình mô phỏng song song mục đích chung cho điện toán lượng tử của Niwa, Matsumoto, Imai.
[4] tính toán lượng tử phân tán hiệu quả của Beals et al 2012
[5] Giải quyết các vấn đề hoàn chỉnh về NP với tìm kiếm lượng tử của Furer 2008