Đường ống với Moreutils ts

Tôi có một luồng đến tại một cổng nối tiếp, với các dòng mới xuất hiện khoảng một lần mỗi giây

wren@Raven:~$ cat /dev/ttyUSB0

A_Sensor1,B_22.00,C_50.00

A_Sensor1,B_22.00,C_50.00

A_Sensor1,B_22.00,C_50.00

A_Sensor1,B_22.00,C_50.00

A_Sensor1,B_22.00,C_50.00

Tôi muốn xóa các dòng trống và dấu thời gian còn lại.

sed sẽ loại bỏ các dòng trống và thêm dấu thời gian, nhưng tôi không thể thực hiện cập nhật dấu thời gian, nó chỉ báo cáo thời gian nó được gọi:

wren@Raven:~$ cat /dev/ttyUSB0 | sed -e '/^$/d' -e "s/$/`date +\,%F\,%T`/"
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
^C

Tôi đã tìm thấy ts, một phần của Moreutils và có thể truy cập vào đó để có dấu thời gian cập nhật.

wren@Raven:~$ cat /dev/ttyUSB0 |  ts
May 14 09:49:26 A_Sensor1,B_22.00,C_50.00
May 14 09:49:26
May 14 09:49:27 A_Sensor1,B_22.00,C_50.00
^C

Tuy nhiên, tôi không thể kết hợp đúng cách với ts.

Điều này, có vẻ như nó sẽ làm những gì tôi muốn, không tạo ra đầu ra nào cả

wren@Raven:~$ cat /dev/ttyUSB0 | sed -e '/^$/d' | ts
^C
wren@Raven:~$

Tuy nhiên, việc đảo ngược thứ tự của các đường ống sẽ tạo ra một đầu ra, nhưng tất nhiên không phải là các đường dải không còn trống. Các sự thay thế khác hoạt động tốt, vì vậy tôi biết đường ống để sed đang hoạt động.

wren@Raven:~$ cat /dev/ttyUSB0 |  ts | sed -e '/^$/d'
May 14 10:07:25 A_Sensor1,B_22.00,C_50.00
May 14 10:07:25
May 14 10:07:26 A_Sensor1,B_22.00,C_50.00
May 14 10:07:26
^C

Vì vậy, tôi có một chút trở ngại. Tôi có thể làm cho sed loại bỏ các dòng không mong muốn, nhưng việc đánh dấu lại chúng trước khi loại bỏ phải là cách tiếp cận sai.

Tôi sẽ đánh giá cao một lời giải thích và một số trợ giúp.

Để trả lời câu hỏi trực tiếp, sedbộ đệm và đó là vấn đề duy nhất.
Bạn có thể sửa lỗi này bằng cách yêu cầu nó không đệm với -u/ --unbufferedcờ của nó :

sed -u '/^$/d' /dev/ttyUSB0 | ts

Với khai thác thử nghiệm (nhưng bạn sẽ cần chạy nó để chứng minh):

$ (echo -e 'banana\n\n'; sleep 2; echo 'cheese') | sed -u '/^$/d' | ts
May 14 11:26:05 banana
May 14 11:26:07 cheese

Bạn có thể gặp phải những khó khăn tương tự với các trình soạn thảo luồng khác. Dường như tất cả đều muốn đệm một chút. Họ đều có cách giải quyết mặc dù. Dưới đây là một loạt các lệnh tôi đã thử nghiệm:

... | mawk -W interactive '/./' | ts
... | gawk '/./ { print $0; fflush(); }' | ts
... | grep --line-buffered '.' | ts
... | perl -n -e 'print if /./' | ts

Một ý tưởng khác là chỉ để cho gawknó xử lý nó. Nó có thể lọc các dòng không trống và thực hiện in ngày cho bạn (nhờ vào Kieron của SO ):

awk '/./ { print strftime("%Y-%m-%d %H:%M:%S"), $0; fflush(); }' /dev/ttyUSB0

Điều đó tuôn ra ngay sau khi các dòng vào. gawkĐặc biệt hữu ích ở đây nếu bạn muốn làm những việc khác ... Nếu bạn muốn kiểm tra xem cột đầu ra thứ tư (trước ts) có khớp với biểu thức chính quy không, bạn có thể (ví dụ $4~/\d{4}/). Awk (và các biến thể của nó) rất linh hoạt để xử lý luồng.

Một khai thác thử nghiệm khác:

$ gawk '/./ { print strftime("%Y-%m-%d %H:%M:%S"), $0; fflush(); }' <(
      echo -e 'banana\n\n';
      sleep 2;
      echo 'cheese'
  )
2014-05-14 11:13:59 banana
2014-05-14 11:14:01 cheese

bash có thể xử lý việc này trong một while readvòng lặp

(echo -e 'banana\n\n'; sleep 2; echo 'cheese') | 
while IFS= read -r line; do 
    [[ $line ]] && echo "$(date "+%F %T") line"
done

2014-05-14 06:34:06 banana
2014-05-14 06:34:08 cheese

Bạn có thể xóa các dòng chỉ có khoảng trắng bằng cách mở rộng tham số khó khăn: xóa tất cả các khoảng trắng hàng đầu và xem dòng đó có trống không:

shopt -s extglob

(echo -e '  banana\n\t\n'; sleep 2; echo 'cheese') |
while IFS= read -r line; do
    [[ "${line/#+([[:blank:]])/}" ]] && echo "$(date "+%F %T") $line"
done