Thực hiện các yêu cầu curl song song trong bash

Cách tốt nhất để thực hiện 5 curlyêu cầu paralleltừ một tập lệnh bash là gì? Tôi không thể chạy chúng nối tiếp vì lý do hiệu suất.

Sử dụng '&' sau một lệnh để làm nền cho một quá trình và 'chờ' để chờ chúng kết thúc. Sử dụng '()' xung quanh các lệnh nếu bạn cần tạo lớp vỏ phụ.

#!/bin/bash

curl -s -o foo http://example.com/file1 && echo "done1" &
curl -s -o bar http://example.com/file2 && echo "done2" & 
curl -s -o baz http://example.com/file3 && echo "done3" &

wait

xargs có tham số "-P" để chạy các tiến trình song song. Ví dụ:

wget -nv http://en.wikipedia.org/wiki/Linux -O- | egrep -o "http://[^[:space:]]*.jpg" | xargs -P 10 -r -n 1 wget -nv

Tham khảo: http://www.commandlinefu.com/commands/view/3269/pool-file-doading-with-wget

Tôi sử dụng gnu song song cho các nhiệm vụ như thế này.

Đây là một curlví dụ với xargs:

$ cat URLS.txt | xargs -P 10 -n 1 curl

Ví dụ trên nên curlmỗi URL song song, 10 URL cùng một lúc. Có -n 1ở đó để xargschỉ sử dụng 1 dòng từ URLS.txttệp cho mỗi lần curlthực hiện.

Mỗi tham số xargs làm gì:

$ man xargs

-P maxprocs
             Parallel mode: run at most maxprocs invocations of utility at once.
-n number
             Set the maximum number of arguments taken from standard input for 
             each invocation of utility.  An invocation of utility will use less 
             than number standard input arguments if the number of bytes 
             accumulated (see the -s option) exceeds the specified size or there 
             are fewer than number arguments remaining for the last invocation of 
             utility.  The current default value for number is 5000.