Chạy song song hàng ngàn quy trình nền cuộn trong tập lệnh bash

Tôi đang chạy song song các quy trình nền curl song song trong tập lệnh bash sau

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

Tôi có máy chủ chuyên dụng 49Gb Corei7-920 (không ảo).

Tôi theo dõi mức tiêu thụ bộ nhớ và CPU thông qua toplệnh và chúng ở rất xa giới hạn.

Tôi đang sử dụng ps aux | grep curl | wc -lđể đếm số lượng các quy trình curl hiện tại . Con số này tăng nhanh lên tới 2-4 nghìn và sau đó bắt đầu giảm liên tục.

Nếu tôi thêm phân tích cú pháp đơn giản thông qua đường ống curl thành awk ( curl | awk > output) thì số quy trình curl tăng lên chỉ còn 1-2 nghìn và sau đó giảm xuống 20-30 ...

Tại sao số lượng quá trình giảm đáng kể? Đâu là giới hạn của kiến ​​trúc này?

Theo câu hỏi nghiêm ngặt:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

Ngắn hơn nếu bạn không cần văn bản soạn sẵn xung quanh thời gian:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

Nếu bạn muốn chạy 1000 giây song song, bạn sẽ đạt một số giới hạn (chẳng hạn như xử lý tệp). Tăng ulimit -n hoặc /etc/security/limits.conf có thể giúp ích.

for i in {1..100000}

Chỉ có 65536 cổng. Điều tiết này.

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(chỉnh sửa: (chỉnh sửa: dải xác nhận ngày nghiêm trọng về giới hạn hệ điều hành và thêm phần còn thiếu )echocurl
wait