Chi phí truyền thông trong siêu máy tính

Tôi đang tìm kiếm các tài liệu tham khảo đáng tin cậy cho biết các siêu máy tính dành bao nhiêu tài nguyên cho việc phối hợp so với thực hiện các công việc liên quan đến nhiệm vụ thực tế. Tài nguyên có thể có khả năng xử lý nhưng ngay cả Watts có vẻ như là một đơn vị hợp lệ.

Tôi tin rằng một trong những giáo sư hoặc sách giáo khoa của tôi đã từng nói rằng trong các hệ thống song song ồ ạt, có tới một nửa sức mạnh xử lý có sẵn được dành cho việc điều phối nhiệm vụ và thông điệp truyền qua. Thật không may, tôi dường như không thể tìm thấy tài liệu tham khảo này hoặc bất kỳ tài liệu nào khác về tỷ lệ này.

Tôi nhận ra rằng điều này sẽ khác rất nhiều tùy thuộc vào kiến ​​trúc siêu máy tính và các triển khai hiện đại có thể hiệu quả hơn về mặt này, vì vậy tổng quan về số liệu này qua nhiều kiến ​​trúc hoặc diễn biến (trước và sau khi thông báo dành riêng cho phần cứng) sẽ còn tốt hơn nữa.

$2/3n^{3}+2n^{2}$$n$

Các biện pháp đo điểm chuẩn bao gồm RPEAK (số lượng hoạt động điểm nổi tối đa trên lý thuyết mỗi giây cho hệ thống) và RMAX (số lượng hoạt động tối đa đạt được mỗi giây trong điểm chuẩn HPLinpack.)

Đó là điển hình cho RPEAK là một phần đáng kể của RMAX, chỉ ra rằng trong nhiệm vụ điểm chuẩn này, các siêu máy tính hiện tại có thể đạt được một phần đáng kể hiệu suất cao nhất về mặt lý thuyết của chúng. Ví dụ, trong bảng xếp hạng siêu máy tính TOP500 tháng 11 năm 2015, cỗ máy nhanh nhất, Tianhe-2, có RPEAK = 54,902 petaflop và RMAX = 33.863 petaflop.

Tuy nhiên, điểm chuẩn HPLinpack được xem rộng rãi là không đại diện cho khối lượng công việc hiện tại. Kết quả HPlinpack thường vượt quá hiệu năng của siêu máy tính trong các ứng dụng thực tế bởi một yếu tố lớn.

Một chuẩn mực mới, được gọi là HPCG, đang được phát triển. Điểm chuẩn này bao gồm các hoạt động thường được thực hiện trong các phương pháp lặp cho giải pháp của các hệ phương trình thưa thớt lớn phát sinh từ các PDE rời rạc. Khối lượng công việc này là thách thức hơn nhiều đối với máy tính hiệu suất cao. Nó cũng đại diện nhiều hơn cho những gì siêu máy tính được sử dụng trong thực tế.

Một số kết quả ban đầu từ HPCG đang đến với ít hơn 5% RPEAK. Ví dụ: Tianhe-2 có RPEAK = 54,90 petaflop và HPCG ở mức 0,58 petaflop (xem tài liệu tham khảo bên dưới để trình bày về HPCG.)

Điểm chuẩn TOP500 HPLinpack có thể được tìm thấy tại:

http://www.top500.org/

Một bài thuyết trình về HPCG có thể được tìm thấy tại:

http://www.hpcg-benchmark.org/doads/isc15/HPCG-ISC15-FINAL-SLIDES_update1.pdf

Trang web của HPCG đang ở

http://www.hpcg-benchmark.org/

Câu trả lời trung thực là chúng ta không biết. Câu trả lời phụ thuộc rất nhiều vào những gì thực sự đang được chạy và mã người dùng đã viết. Như Brian Borchers chỉ ra, có một sự khác biệt lớn giữa hai điểm chuẩn nơi chúng ta có tất cả mã và được cho là biết mã đó đang làm gì, nhưng có nhiều sự bất đồng về cách mã này đại diện cho những gì người dùng siêu máy tính đang làm. Nếu không có phân tích mã nguồn chi tiết và một số công cụ nặng về mã thực trên máy thật, việc tìm tỷ lệ này là không thể. Có một số dự án đang bắt đầu thu thập dữ liệu có thể khiến cộng đồng gần gũi để trả lời câu hỏi này, nhưng nó hoàn toàn không được giải quyết.

Trong thực tế, câu hỏi không thực sự rõ ràng. Nếu thẻ giao tiếp của nút cụm có bộ xử lý trên đó chỉ có thể được sử dụng để liên lạc, làm thế nào để bạn đếm thời gian mà thẻ này không sử dụng để không xử lý giao tiếp (cũng không phải bất cứ điều gì khác)? Tức là, cái gì được coi là "sức mạnh xử lý có sẵn"? Chúng ta có đếm các chương trình được viết xấu mà các chương trình tính toán và truyền thông không được tối ưu hóa giống như được tối ưu hóa không? Điều gì xảy ra nếu ai đó sử dụng một mô hình chống được biết đến trong mã của họ mà cố tình sử dụng CPU một cách cố ý? Thế còn những chương trình song song lúng túng hoàn toàn không giao tiếp (những chương trình này chạy trên siêu máy tính, tôi hứa với bạn)?

Tôi sẽ không lãng phí thời gian của bạn để cố gắng định lượng một nhận xét ngoài lề trong một cuốn sách hoặc từ giáo sư của bạn. Những loại báo cáo này có để nhắc nhở chúng ta rằng lập trình song song là khó và thường được thực hiện kém. Các siêu máy tính cũng không được thiết kế hoàn hảo để loại bỏ hoặc tối ưu hóa tất cả các chất thải.