Gọi nhiều tập lệnh bash và chạy chúng song song, không theo trình tự

Giả sử rằng tôi có ba (hoặc nhiều hơn) các kịch bản bash: script1.sh, script2.sh, và script3.sh. Tôi muốn gọi cả ba kịch bản này và chạy chúng song song . Một cách để làm điều này là chỉ thực hiện các lệnh sau:

nohup bash script1.sh &
nohup bash script2.sh &
nohup bash script3.sh &

(Nói chung, các tập lệnh có thể mất vài giờ hoặc vài ngày để hoàn thành, vì vậy tôi muốn sử dụng nohupđể chúng tiếp tục chạy ngay cả khi bảng điều khiển của tôi đóng.)

Nhưng, liệu có cách nào để thực hiện những ba lệnh trong song song với một đơn cuộc gọi?

Tôi đã suy nghĩ một cái gì đó như

nohup bash script{1..3}.sh &

nhưng điều này dường như thực hiện script1.sh, script2.shvà script3.shtheo thứ tự, không song song.

for((i=1;i<100;i++)); do nohup bash script${i}.sh & done

Một cách tốt hơn sẽ là sử dụng GNU Parallel . GNU song song là đơn giản và với nó, chúng ta có thể kiểm soát số lượng công việc để chạy song song với nhiều quyền kiểm soát hơn các công việc.

Trong lệnh dưới đây, script{1..3}.shđược mở rộng và được gửi dưới dạng đối số bashsong song. Ở đây -j0chỉ ra rằng càng nhiều công việc nên được chạy càng tốt. Theo mặc định parallelchạy một công việc cho một lõi cpu.

$ parallel -j0 bash :::: <(ls script{1..3}.sh)

Và bạn cũng có thể thử sử dụng

$ parallel -j0 bash ::: script{1..3}.sh

Trong khi thực hiện phương thức thứ hai nếu bạn nhận được bất kỳ thông báo lỗi nào thì điều đó có nghĩa là --tolleftùy chọn đó được đặt /etc/parallel/configvà cần phải xóa và mọi thứ sẽ hoạt động tốt.

Bạn có thể đọc GNU Parallelstrang man ở đây để có nhiều lựa chọn phong phú hơn.

Và trong trường hợp nếu bạn đang chạy các công việc từ một máy từ xa, hãy sử dụng tốt hơn screenđể phiên không bị đóng do sự cố mạng. nohuplà không cần thiết, như các phiên bản gần đây của bash là đến với huponexitnhư offvà điều này sẽ ngăn chặn vỏ mẹ gửi HUPtín hiệu để con của nó trong quá trình thoát của nó. Trong trường hợp nếu nó không unset làm điều đó với

$ shopt -u huponexit  

Chúng ta cũng có thể sử dụng xargsđể chạy song song nhiều tập lệnh.

$ ls script{1..5}.sh|xargs -n 1 -P 0 bash

ở đây mỗi tập lệnh được truyền cho bash làm đối số riêng. -P 0chỉ ra rằng số lượng quá trình song song có thể càng nhiều càng tốt. Nó cũng an toàn hơn khi sử dụng bash mặc định job control feature (&).

Một giải pháp dòng duy nhất :

$ nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh &

Ít lịch sự hơn, chỉ cần sử dụng tập lệnh bao bọc:

$ cat script.sh
#!/usr/bin/env bash
script1.sh &
script2.sh &
script3.sh &
$ nohup script.sh &

Hoặc lặp qua chúng:

for script in dir/*.sh
do
    nohup bash "$script" &
done

Nếu bạn đang tìm cách tiết kiệm cho mình một số nỗ lực đánh máy

eval "nohup bash "script{1..3}.sh" &"

Hoặc trên suy nghĩ thứ hai, có thể không

Kiểm tra công cụ này: https://github.com/wagoodman/bashful

Nói rằng bạn có mytasks.yamlvới

tasks:
    - name: A title for some tasks
      parallel-tasks:
        - cmd: ./script1.sh
        - cmd: ./script2.sh -x an-arg
        - cmd: ./script3.sh -y some-other-arg

Và bạn chạy nó như vậy:

nohup bashful run mytasks.yaml

Các tập lệnh của bạn sẽ được chạy song song với thanh tiến trình dọc (+ eta nếu bạn đã chạy nó trước đó và thời gian là xác định). Bạn có thể điều chỉnh số lượng tác vụ bạn muốn chạy song song nếu bạn bắt đầu chạy nhiều hơn chỉ 3 nhiệm vụ đã cho ở đây:

config:
    max-parallel-commands: 6
tasks:
    ...

Tuyên bố miễn trừ trách nhiệm: Tôi là tác giả.

Tôi đang đề xuất một tiện ích đơn giản hơn nhiều tôi vừa viết. Hiện tại nó được gọi là mệnh, nhưng sẽ sớm được đổi tên thành parl hoặc pll, chưa quyết định.

https://github.com/k-bx/par

API đơn giản như:

par "script1.sh" "script2.sh" "script3.sh"

Sử dụng song song

parallelshell "echo 1" "echo 2" "echo 3"

https://github.com/keithamus/poolshell