Tôi đang phát triển một thuật toán phân tán và để cải thiện hiệu quả, nó phụ thuộc cả vào số lượng đĩa (mỗi đĩa trên một máy) và chiến lược cân bằng tải hiệu quả. Với nhiều đĩa hơn, chúng tôi có thể giảm thời gian sử dụng I / O; và với chính sách cân bằng tải hiệu quả, chúng tôi có thể phân phối các tác vụ mà không cần nhiều chi phí sao chép dữ liệu.
Có nhiều nghiên cứu về tài liệu giải quyết cùng một vấn đề, và mỗi nghiên cứu đều thực hiện các thí nghiệm khác nhau để đánh giá đề xuất của họ. Một số thí nghiệm cụ thể về chiến lược được trình bày và một số thử nghiệm khác, như tỷ lệ yếu (khả năng mở rộng) và tỷ lệ mạnh (tăng tốc), là phổ biến cho tất cả các công việc.
Vấn đề là các thí nghiệm thường được thực hiện trên các cơ sở hạ tầng hoàn toàn khác nhau (đĩa, bộ xử lý, # máy, mạng) và tùy thuộc vào những gì được đánh giá, nó có thể đưa ra so sánh sai / không công bằng . Ví dụ: tôi có thể nhận được 100% tốc độ trong ứng dụng của mình chạy trên 10 máy có kết nối Infiniband, trong khi tôi có thể nhận được kết quả tương tự hoặc thậm chí tệ hơn nếu kết nối của tôi là Ethernet.
Vì vậy, làm thế nào người ta có thể so sánh trung thực các thí nghiệm khác nhau để chỉ ra hiệu quả đạt được?