Câu hỏi được gắn thẻ «parallelism»

Tôi chỉ tìm thấy puf (Trình tải URL song song) nhưng tôi không thể lấy nó để đọc các url từ một tệp; cái gì đó như puf < urls.txt cũng không hoạt động. Hệ điều hành được cài đặt trên máy chủ là Ubuntu.

14 ubuntu  wget  parallelism 

Tôi có một nhiệm vụ xử lý một danh sách các tập tin trên stdin. Thời gian khởi động của chương trình là đáng kể và lượng thời gian mỗi tệp sẽ thay đổi rất nhiều. Tôi muốn sinh ra một số lượng đáng kể các quy trình này, sau …

13 xargs  split  parallelism 

Tôi có ba loại dữ liệu ở các định dạng khác nhau; đối với mỗi loại dữ liệu, có một tập lệnh Python chuyển đổi nó thành một định dạng thống nhất duy nhất. Tập lệnh Python này bị chậm và bị ràng buộc bởi CPU (với một lõi đơn …

10 text-processing  pipe  split  parallelism 

Tôi biết rằng trên dòng lệnh tôi có thể sử dụng &để chạy một lệnh trong nền. Nhưng tôi tự hỏi nếu tôi có thể làm điều đó trong một kịch bản. Tôi có một kịch bản như thế này: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd /my/working/directory/ sh ./stay/get_it_ios.sh …

10 bash  background-process  parallelism 

Tôi hiện đang gặp sự cố với việc ddđược gọi với một tệp thưa thớt là input ( if) và một tệp là output ( of) với conv=sparse. dddường như chỉ sử dụng một lõi của CPU ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz4 lõi + 4 Intel Hyperthread) (100% …

10 linux  dd  parallelism 

Tôi cần chạy thử nghiệm hiệu năng cho chương trình đồng thời của mình và yêu cầu của tôi là nó chỉ nên chạy trên một lõi CPU. (Tôi không muốn các chủ đề hợp tác - Tôi muốn luôn có một chuyển đổi ngữ cảnh). Vì vậy, tôi có …

9 linux  cpu  parallelism 

Tôi đang sử dụng xargsđể gọi một kịch bản python để xử lý khoảng 30 triệu tệp nhỏ. Tôi hy vọng sẽ sử dụng xargsđể song song hóa quá trình. Lệnh tôi đang sử dụng là: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} …

9 xargs  parallelism 

Tôi đã viết một tập lệnh bash có định dạng sau: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." Các whilevòng lặp sẽ đọc từ $inFile, thực …

9 shell-script  multithreading  parallelism 

Tôi muốn song song các forvòng lặp của đoạn mã sau. làm như thế nào? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); …

9 bash  shell-script  parallelism 

Tôi muốn sử dụng tính năng của song song GNU , nơi nó có thể thực thi lệnh và danh sách được cung cấp song song và nhổ nó ra sau khi hoàn thành, tuy nhiên, tôi không muốn cài đặt song song GNU trên tất cả các máy chủ …

8 ksh  gnu  parallelism  gnu-parallel 

Đây có phải là cách chính xác để bắt đầu nhiều quá trình tuần tự trong nền? for i in {1..10}; do for j in {1..10}; do run_command $i $j; done & done; Tất cả jnên được xử lý sau một thời gian nhất định i, nhưng tất cả inên …

8 bash  background-process  for  parallelism 

Giả sử tôi có nhiều tập lệnh bash chạy song song, với mã như sau: #!/bin/bash tail -f /dev/null & echo "pid is "$! Được $!đảm bảo để cung cấp cho tôi PID của tác vụ nền gần đây nhất trong tập lệnh đó hay nó là tác vụ nền …

8 bash  shell-script  parallelism 

Tôi có một quá trình song song lúng túng tạo ra một lượng lớn các tệp gần như (nhưng không hoàn toàn). Có cách nào để lưu trữ các tệp "nhanh chóng" để dữ liệu không tiêu tốn nhiều dung lượng hơn mức cần thiết không? Quá trình tự chấp …

8 filesystems  tar  parallelism  fuse 

Tôi cần tải lên một thư mục với một cây khá phức tạp (rất nhiều thư mục con, v.v.) bằng FTP. Tôi không thể nén thư mục này, vì tôi không có quyền truy cập vào đích ngoài FTP - ví dụ: không có tar. Vì đây là khoảng cách …

8 command-line  ftp  parallelism  file-transfer 

Đây là những gì tôi làm ngay bây giờ, sort -T /some_dir/ --parallel=4 -uo file_sort.csv -k 1,3 file_unsort.csv tệp là 90GB, tôi nhận được thông báo lỗi này sort: close failed: /some_dir/sortmdWWn4: Disk quota exceeded Trước đây, tôi không sử dụng tùy chọn -T và rõ ràng thư mục tmp …

7 disk-usage  sort  parallelism  large-files