Làm thế nào để so sánh các thí nghiệm chạy trên các cơ sở hạ tầng khác nhau


8

Tôi đang phát triển một thuật toán phân tán và để cải thiện hiệu quả, nó phụ thuộc cả vào số lượng đĩa (mỗi đĩa trên một máy) và chiến lược cân bằng tải hiệu quả. Với nhiều đĩa hơn, chúng tôi có thể giảm thời gian sử dụng I / O; và với chính sách cân bằng tải hiệu quả, chúng tôi có thể phân phối các tác vụ mà không cần nhiều chi phí sao chép dữ liệu.

Có nhiều nghiên cứu về tài liệu giải quyết cùng một vấn đề, và mỗi nghiên cứu đều thực hiện các thí nghiệm khác nhau để đánh giá đề xuất của họ. Một số thí nghiệm cụ thể về chiến lược được trình bày và một số thử nghiệm khác, như tỷ lệ yếu (khả năng mở rộng) và tỷ lệ mạnh (tăng tốc), là phổ biến cho tất cả các công việc.

Vấn đề là các thí nghiệm thường được thực hiện trên các cơ sở hạ tầng hoàn toàn khác nhau (đĩa, bộ xử lý, # máy, mạng) và tùy thuộc vào những gì được đánh giá, nó có thể đưa ra so sánh sai / không công bằng . Ví dụ: tôi có thể nhận được 100% tốc độ trong ứng dụng của mình chạy trên 10 máy có kết nối Infiniband, trong khi tôi có thể nhận được kết quả tương tự hoặc thậm chí tệ hơn nếu kết nối của tôi là Ethernet.

Vì vậy, làm thế nào người ta có thể so sánh trung thực các thí nghiệm khác nhau để chỉ ra hiệu quả đạt được?

Câu trả lời:


3

Đây là một câu hỏi rất hay và một tình huống phổ biến.

Theo tôi có ba yếu tố khác nhau phải được kiểm soát:

  • Dữ liệu: Đã tồn tại các điểm chuẩn khác nhau để đánh giá các thuật toán và kiến ​​trúc. Những dữ liệu này phải được công khai để mọi người có thể đối chiếu với cách tiếp cận của họ.
  • Kiến trúc: Đề xuất của tôi là kiểm tra mọi thứ trên đám mây, để mọi người có thể đối chiếu kết quả của họ và cũng không có nghi ngờ gì về các máy và phần mềm tương tự được sử dụng.
  • Thuật toán: Nếu bạn đã phát triển một thuật toán phân tán, sẽ rất tuyệt khi so sánh thuật toán của bạn trên một dữ liệu cụ thể. Trong trường hợp này, các thuật toán không được công khai.

Vì vậy, khi trả lời câu hỏi của bạn, nếu bạn muốn so sánh các thử nghiệm khác nhau và nêu mức độ thuật toán phân tán của bạn vượt trội so với các thuật toán khác, bạn nên cố gắng sao chép chính xác nhất có thể trong cùng một môi trường (dữ liệu và kiến ​​trúc) nơi các thí nghiệm được thực hiện.

Nếu điều này là không thể, đề nghị của tôi là bạn nên kiểm tra thuật toán của mình với dữ liệu công khai và kiến ​​trúc đám mây để bạn trở thành người giới thiệu khi bạn tạo điều kiện so sánh các thuật toán trong tương lai.



2

Câu trả lời chung sau đây là phỏng đoán vô học của tôi, vì vậy hãy dùng nó với hạt muối. Hy vọng, nó có ý nghĩa. Tôi nghĩ rằng cách tốt nhất để mô tả hoặc phân tích các thí nghiệm (như mọi hệ thống khác , nói chung) là xây dựng các mô hình thống kê (đa biến) của chúng và đánh giá chúng. Tùy thuộc vào việc môi trường cho tập hợp thử nghiệm của bạn được biểu thị theo cùng một mô hình hay khác nhau , tôi thấy các cách tiếp cận sau :

1) Phương pháp mô hình đơn. Xác định mô hình thống kê của các thử nghiệm cho tất cả các môi trường (biến phụ thuộc và độc lập, loại dữ liệu, giả định, ràng buộc). Phân tích nó (rất có thể, sử dụng phân tích hồi quy ). So sánh kết quả giữa các biến , xác định (ảnh hưởng) các môi trường khác nhau.

2) Nhiều mô hình tiếp cận. Các bước tương tự như trường hợp trước, nhưng so sánh kết quả giữa các mô hình , tương ứng với các môi trường khác nhau.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.