Tôi đang thực thi 60 tập lệnh với GNU song song (tất cả chúng đều có wgetcác lệnh trong đó) nhưng tôi nhận thấy rằng sau một vài giờ thực thi sẽ làm chậm một chút. Điều gì có thể gây ra điều này?
Tôi đang thực thi song song với lệnh này: parallel -j 60 < listtrong đó "list" chỉ là một tệp có thư mục chứa 60 tập lệnh.
Tôi đang sử dụng máy CentOS 6.5.
Nếu tôi dừng thực thi tại bất kỳ thời điểm nào và khởi động lại nó, nó sẽ bắt đầu nhanh trở lại, tôi có thể làm gì để xem điều này có liên quan đến sự cố mạng không?
—
Dominique
Gần đây tôi đã trích xuất hàng tỷ hàng dữ liệu từ internet. Theo hiểu biết của tôi, khi bạn bắt đầu thực thi, không phải tất cả 60 quy trình đều làm tắc nghẽn lưu lượng mạng ban đầu. Tuy nhiên, khi khung thời gian tăng, lưu lượng mạng tăng và băng thông được sử dụng đầy đủ. Ngoài ra, nó có thể liên quan đến việc sử dụng CPU.
—
Ramesh
Mặc dù lý thuyết là khôn ngoan nhưng có thể chạy nhiều luồng, nó phụ thuộc nhiều vào máy móc. Nếu máy của bạn là lõi đơn và bạn chạy 60 quy trình, không phải tất cả 60 quy trình sẽ diễn ra song song. Tôi không chắc chắn về khái niệm này nhưng đây chắc chắn là một lý do khác cho sự chậm chạp.
—
Ramesh
@Ramesh trong
—
Dominique
htopTôi thấy mức sử dụng CPU tối thiểu và mức sử dụng mạng không đổi. VM này (được lưu trữ trên kvm) có 8 luồng và 24GB RAM.
wgetnên nó có thể liên quan nhiều đến các sự cố mạng để thực thi các tập lệnh chậm hơn.