Ống cho nhiều tập tin trong vỏ

Tôi có một ứng dụng sẽ tạo ra một lượng lớn dữ liệu mà tôi không muốn lưu trữ vào đĩa. Ứng dụng chủ yếu xuất dữ liệu mà tôi không muốn sử dụng, nhưng một tập hợp thông tin hữu ích phải được chia thành các tệp riêng biệt. Ví dụ, đưa ra đầu ra sau:

JUNK
JUNK
JUNK
JUNK
A 1
JUNK
B 5
C 1
JUNK

Tôi có thể chạy ứng dụng ba lần như vậy:

./app | grep A > A.out
./app | grep B > B.out
./app | grep C > C.out

Điều này sẽ giúp tôi có được những gì tôi muốn, nhưng nó sẽ mất quá nhiều thời gian. Tôi cũng không muốn chuyển tất cả các kết quả đầu ra vào một tệp và phân tích cú pháp đó.

Có cách nào để kết hợp ba thao tác được hiển thị ở trên theo cách mà tôi chỉ cần chạy ứng dụng một lần mà vẫn nhận được ba tệp đầu ra riêng biệt không?

Nếu bạn có tee

./app | tee >(grep A > A.out) >(grep B > B.out) >(grep C > C.out) > /dev/null

(từ đây )

( về thay thế quá trình )

Bạn có thể dùng awk

./app | awk '/A/{ print > "A.out"}; /B/{ print > "B.out"}; /C/{ print > "C.out"}'

Bạn cũng có thể sử dụng các khả năng khớp mẫu của shell :

./app | while read line; do 
     [[ "$line" =~ A ]] && echo $line >> A.out; 
     [[ "$line" =~ B ]] && echo $line >> B.out; 
     [[ "$line" =~ C ]] && echo $line >> C.out; 
 done

Hoặc thậm chí:

./app | while read line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && echo $line >> "$foo".out; 
  done; done

Một cách an toàn hơn có thể xử lý dấu gạch chéo ngược và dòng bắt đầu bằng -:

./app | while IFS= read -r line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && printf -- "$line\n" >> "$foo".out; 
  done; done

Như @StephaneChazelas chỉ ra trong các bình luận, điều này không hiệu quả lắm. Giải pháp tốt nhất có lẽ là @ AurélienOoms ' .

Nếu bạn có nhiều lõi và bạn muốn các quá trình song song, bạn có thể làm:

parallel -j 3 -- './app | grep A > A.out' './app | grep B > B.out' './app | grep C > C.out'

Điều này sẽ sinh ra ba quá trình trong lõi song song. Nếu bạn muốn có một số đầu ra cho bàn điều khiển hoặc một tệp chủ, nó có lợi thế là giữ đầu ra theo một thứ tự nào đó, thay vì trộn nó.

Tiện ích gnu song song từ Ole Tange có thể được lấy từ hầu hết các repos dưới tên song song hoặc moreutils . Nguồn có thể được lấy từ Savannah.gnu.org . Ngoài ra một video hướng dẫn giới thiệu ở đây .

Phụ lục

Sử dụng phiên bản song song gần đây hơn (không nhất thiết là phiên bản trong repo phân phối của bạn), bạn có thể sử dụng cấu trúc thanh lịch hơn:

./app | parallel -j3 -k --pipe 'grep {1} >> {1}.log' ::: 'A' 'B' 'C'

Việc đạt được kết quả của việc chạy một ./app và 3 quy trình grep song song trong các lõi hoặc luồng riêng biệt (như được xác định bởi chính nó, cũng coi -j3 là tùy chọn, nhưng nó được cung cấp trong ví dụ này cho mục đích hướng dẫn).

Phiên bản mới hơn của song song có thể thu được bằng cách thực hiện:

wget http://ftpmirror.gnu.org/parallel/parallel-20131022.tar.bz2

Sau đó, giải nén thông thường, cd thành song song- {ngày}, ./có hình && make, sudo thực hiện cài đặt. Điều này sẽ cài đặt song song, trang man song song và trang manallel_tutorial.

Đây là một trong Perl:

./app | perl -ne 'BEGIN {open(FDA, ">A.out") and 
                         open(FDB, ">B.out") and 
                         open(FDC, ">C.out") or die("Cannot open files: $!\n")} 
                  print FDA $_ if /A/; print FDB $_ if /B/; print FDC $_ if /C/'

sed -ne/A/w\ A.out -e/B/w\ B.out -e/C/p <in >C.out

... Nếu <incó thể đọc được, cả ba tệp dữ liệu sẽ bị cắt trước khi mọi thứ được viết cho chúng.