Câu hỏi được gắn thẻ «gnu-parallel»

Tôi đã cố gắng song song hóa tập lệnh sau, cụ thể là từng trường hợp trong ba trường hợp vòng lặp FOR, sử dụng GNU Parallel nhưng không thể thực hiện được. 4 lệnh chứa trong vòng lặp FOR chạy theo chuỗi, mỗi vòng lặp mất khoảng 10 phút. …

109 shell-script  gnu-parallel 

Tôi bối rối về sự khác biệt hoặc lợi thế (nếu có) của việc chạy một nhóm tác vụ trong .shtập lệnh bằng cách sử dụngGNU parallel Ví dụ : câu trả lời của Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png thay vì nói lặp qua chúng …

39 shell-script  background-process  xargs  gnu-parallel 

Tôi đã sử dụng một rsynctập lệnh để đồng bộ hóa dữ liệu tại một máy chủ với dữ liệu tại một máy chủ khác. Dữ liệu có nhiều tệp kích thước nhỏ góp phần lên tới gần 1,2TB. Để đồng bộ các tệp đó, tôi đã sử dụng rsynclệnh …

18 linux  rhel  rsync  gnu-parallel 

Tôi gặp vấn đề về kịch bản shell khi tôi được cung cấp một thư mục chứa đầy các tệp đầu vào (mỗi tệp chứa nhiều dòng đầu vào) và tôi cần xử lý chúng riêng lẻ, chuyển hướng từng đầu ra của chúng sang một tệp duy nhất (còn …

18 scripting  parallelism  gnu-parallel 

Trong một kịch bản lớn hơn để xử lý hậu kỳ một số dữ liệu mô phỏng tôi đã có dòng sau: parallel bnzip2 -- *.bz2 Mà, nếu tôi hiểu parallelchính xác (và tôi có thể không), nên chạy các luồng n-core của chương trình trên tất cả các tệp …

15 gnu-parallel  moreutils-parallel 

Vì vậy, tôi có một vòng lặp while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Nhưng điều này có thể mất một thời gian dài. Làm cách nào để sử dụng GNU Parallel cho vòng lặp while này?

12 shell-script  files  gnu-parallel 

% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Tôi hy vọng dòng thứ hai sẽ hành động tương tự.

9 bash  shell  quoting  gnu-parallel 

Tôi đang tải một tệp khá lớn vào cơ sở dữ liệu postgresql. Để làm điều này trước tiên tôi sử dụng splittrong tệp để nhận các tệp nhỏ hơn (mỗi tệp 30Gb) và sau đó tôi tải từng tệp nhỏ hơn vào cơ sở dữ liệu bằng cách sử …

9 files  split  gnu-parallel 

Tôi muốn sử dụng tính năng của song song GNU , nơi nó có thể thực thi lệnh và danh sách được cung cấp song song và nhổ nó ra sau khi hoàn thành, tuy nhiên, tôi không muốn cài đặt song song GNU trên tất cả các máy chủ …

8 ksh  gnu  parallelism  gnu-parallel 

Giả sử tôi muốn tìm tất cả các kết quả khớp trong tệp văn bản nén: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateđược sử dụng ở đây để đo thông lượng đường ống. Trên máy của tôi, tốc độ khoảng 420Mb / giây (sau …

8 shell  gnu-parallel 

Tôi biết rằng bộ đệm song song GNU std / stderr vì nó không muốn đầu ra của công việc bị sai lệch, nhưng nếu tôi chạy công việc của mình parallel do_something ::: task_1 task_2 task_3, thì dù sao thì đầu ra của task_1 sẽ được hiển thị ngay …

8 shell  output  gnu-parallel 

Đã đóng cửa. Câu hỏi này không đúng chủ đề . Nó hiện không chấp nhận câu trả lời. Bạn muốn cải thiện câu hỏi này? Cập nhật câu hỏi để nó thuộc chủ đề cho Unix & Linux Stack Exchange. Đóng cửa 2 năm trước . Trên cụm HPC, …

7 cluster  gnu-parallel 

Tôi đang thực thi 60 tập lệnh với GNU song song (tất cả chúng đều có wgetcác lệnh trong đó) nhưng tôi nhận thấy rằng sau một vài giờ thực thi sẽ làm chậm một chút. Điều gì có thể gây ra điều này? Tôi đang thực thi song song …

1 linux  wget  gnu-parallel