Các mô hình thống kê cho bộ nhớ / tính toán cục bộ, độ trễ mạng và jitter băng thông trong HPC

Tính toán song song thường được mô hình hóa bằng cách sử dụng tỷ lệ tính toán cục bộ xác định, chi phí trễ và băng thông mạng. Trong thực tế, đây là những biến không gian và không xác định. Các nghiên cứu như Skinner và Kramer (2005) quan sát phân phối đa phương thức, nhưng phân tích hiệu suất dường như luôn sử dụng phân phối xác định hoặc phân phối Gaussian (không chỉ không chính xác, nó không nhất quán do xác suất dương của độ trễ âm).

Các mô hình thống kê độ trung thực cao hơn đã được phát triển? Có tài khoản nào cho mối tương quan chéo trong tính toán / bộ nhớ cục bộ, độ trễ và độ biến thiên băng thông không?

Từ góc độ Khoa học Máy tính, tôi không nghĩ sẽ hợp lý khi tạo ra một mô hình thống kê chung về thời gian truy cập bộ nhớ (độ trễ) và băng thông bộ nhớ.

Thật có ý nghĩa để tạo ra một mô hình thống kê cho một thuật toán . Đó là bởi vì mỗi thuật toán có một mẫu truy cập bộ nhớ cụ thể, các mẫu truy cập bộ nhớ có liên quan đến hệ thống phân cấp bộ đệm, ví dụ: thuật toán có địa phương dữ liệu cao sẽ tận dụng lợi thế từ bộ nhớ cache cấp thấp có lợi cho thời gian truy cập bộ nhớ rất nhanh trong khi các thuật toán khác sẽ phải đi tất cả các cách vào RAM (hoặc thậm chí tệ nhất là bộ nhớ trao đổi) và có thời gian truy cập cực kỳ chậm.

Các giá trị mục đích chung được đưa ra từ quan điểm kiến ​​trúc, bạn có thể kiểm tra kiến ​​trúc của mình và tìm kiếm thời gian truy cập từ một lõi nhất định đến một vị trí bộ nhớ nhất định (giả sử bộ đệm L3). Xin lưu ý rằng các kiến ​​trúc gần đây là Truy cập bộ nhớ không đồng nhất NUMA sẽ khiến công việc của bạn khó khăn hơn một chút.