Các thư viện song song bộ nhớ chia sẻ dựa trên tác vụ trong Khoa học máy tính

Trong những năm gần đây, một số thư viện / dự án phần mềm đã xuất hiện cung cấp một số dạng hoặc dạng song song của bộ nhớ chia sẻ dữ liệu theo mục đích chung.

Ý tưởng chính là thay vì viết một mã được phân luồng rõ ràng, các lập trình viên thực hiện các thuật toán của họ dưới dạng các tác vụ phụ thuộc lẫn nhau, sau đó được lên lịch động bởi một phần mềm trung gian có mục đích chung trên máy bộ nhớ dùng chung.

Ví dụ về các thư viện đó là:

• QUARK : Được thiết kế ban đầu cho thư viện đại số tuyến tính song song MAGMA , dường như cũng được sử dụng cho Phương pháp Đa cực nhanh song song .

• Cilk : Ban đầu là một dự án có trụ sở tại MIT, hiện được Intel hỗ trợ, được triển khai dưới dạng phần mở rộng ngôn ngữ / trình biên dịch sang C, được sử dụng trong phần mềm cờ vua máy tính Cilkchess và thử nghiệm trong FFTW .

• SMP superscalar : Được phát triển tại Trung tâm siêu máy tính Barcelona, ​​tương tự như Cilk ở nhiều khía cạnh, dựa trên các #pragmaphần mở rộng.

• StarPU : Các "bộ mã" dựa trên thư viện tương tự có thể được biên dịch và lên lịch trên một số kiến ​​trúc khác nhau, bao gồm cả GPU.

• Các tác vụ OpenMP: Kể từ phiên bản 3.0, OpenMP đã giới thiệu "các tác vụ" có thể được lên lịch không đồng bộ (xem Phần 2.7 của thông số kỹ thuật).

• Các khối xây dựng luồng của Intel : Sử dụng các lớp C ++ để tạo và khởi chạy các tác vụ không đồng bộ, xem Phần 11 của Hướng dẫn.

• OpenCL : Hỗ trợ song song dựa trên nhiệm vụ trên nhiều lõi.

Mặc dù có rất nhiều tài liệu mô tả hoạt động bên trong của các thư viện / phần mở rộng ngôn ngữ này và ứng dụng của chúng cho các vấn đề cụ thể, tôi chỉ bắt gặp rất ít ví dụ về chúng được sử dụng trong thực tế trong các ứng dụng máy tính khoa học.

Vì vậy, đây là câu hỏi: Có ai biết mã máy tính khoa học bằng cách sử dụng bất kỳ thư viện / phần mở rộng ngôn ngữ nào, hoặc tương tự, cho song song bộ nhớ chia sẻ không?

deal.II sử dụng Khối xây dựng luồng trong toàn bộ thư viện và nói chung, chúng tôi rất hài lòng với nó. Chúng tôi đã xem xét một vài lựa chọn thay thế, đặc biệt là OpenMP vì mọi người dường như đang sử dụng mã đó cho các mã đơn giản hơn, nhưng thấy chúng thiếu. Đặc biệt, OpenMP có nhược điểm rất lớn là mô hình tác vụ của nó không cho phép bạn xử lý một tác vụ bạn đã bắt đầu và do đó rất khó truy cập trạng thái của một tác vụ (ví dụ như chờ hoàn thành) hoặc trả về giá trị của các chức năng bạn chạy trên một nhiệm vụ riêng biệt. OpenMP chủ yếu tốt cho việc song song các vòng lặp trong cùng nhưng bạn đạt được hiệu quả song song bằng cách song song các vòng lặp ngoài cùng , phức tạp và OpenMP không phải là công cụ cho điều đó trong khi TBB khá hợp lý cho điều đó.

Theo tôi, các hệ thống này đã tương đối không thành công chủ yếu do các lý do sau đây.

• Quan điểm ngây thơ rằng tính toán song song là về việc song song hóa tính toán (ví dụ flop) hơn là phơi bày địa phương bộ nhớ và loại bỏ các điểm đồng bộ hóa. Mặc dù một số vấn đề, chẳng hạn như thuật toán ma trận dày đặc, vẫn bị giới hạn FP, chỉ xảy ra sau khi xem xét cẩn thận hệ thống con bộ nhớ và hầu hết các hạt nhân tính toán (đặc biệt là trong thế giới PDE) nhạy cảm hơn với bộ nhớ. Hàng đợi công việc có xu hướng trao đổi địa phương bộ nhớ để có sự cân bằng ngây thơ tốt hơn và hoạt động bộ nhớ nguyên tử nhiều hơn (do đồng bộ hóa thông qua hàng đợi).
• Sự phụ thuộc vào quá trình phân hủy quá mức cho cân bằng tải động với chi phí khả năng mở rộng mạnh mẽ. Nhiệm vụ thường có phụ thuộc dữ liệu chồng chéo (giá trị ma). Khi kích thước của nội thất co lại, tỷ lệ ma / nội thất tăng lên. Ngay cả khi điều này không ngụ ý công việc dư thừa, nó ngụ ý tăng chuyển động bộ nhớ. Có thể giảm đáng kể các yêu cầu về băng thông bộ nhớ bằng các cách tiếp cận như tìm nạp trước hợp tác bằng cách nhiều luồng chia sẻ bộ đệm L1 hoặc L2 bằng cách tìm nạp trước phần mềm cho hàng xóm của chúng (điều này hoàn toàn giữ cho nhóm các luồng gần nhau). Điều này hoàn toàn ngược lại với sự phân hủy quá mức.
• Hiệu suất không thể đoán trước, chủ yếu là do các vấn đề liên quan đến bộ nhớ ở trên.
• Thiếu các thành phần thân thiện với thư viện. Điều này gần như có thể được tóm tắt là không có sự tương tự MPI_Commcho phép các thư viện khác nhau thực hiện các hoạt động phong phú mà không cần va chạm, cũng như vượt qua bối cảnh giữa các thư viện và khôi phục các thuộc tính cần thiết. Sự trừu tượng được cung cấp bởi "bộ truyền thông" rất quan trọng đối với thành phần thư viện bất kể sử dụng bộ nhớ chia sẻ hay phân tán.