tổng các cặp cột dựa trên các trường khớp

Tôi có một tệp lớn ở định dạng sau:

2 1019 0 12 
2 1019 3 0 
2 1021 0 2 
2 1021 2 0 
2 1022 4 5
2 1030 0 1 
2 1030 5 0 
2 1031 4 4

Nếu các giá trị trong cột 2 khớp nhau, tôi muốn tính tổng các giá trị trong cột 3 và 4 của cả hai dòng, ngoài ra chỉ là tổng của các giá trị trong dòng duy nhất.

Vì vậy, đầu ra tôi hy vọng sẽ trông như thế này:

2 1019 15 
2 1021 4 
2 1022 9 
2 1030 6 
2 1031 8

Tôi có thể sắp xếp các tệp theo cột 2 bằng awkhoặc sorttính tổng các cột cuối cùng awk, nhưng chỉ cho các dòng riêng lẻ không dành cho hai dòng có cột 2 khớp.

Tôi sẽ làm điều này trong Perl:

$ perl -lane '$k{"$F[0] $F[1]"}+=$F[2]+$F[3]; 
              END{print "$_ $k{$_}" for keys(%k) }' file 
2 1019 15
2 1021 4
2 1030 6
2 1031 8
2 1022 9

Hoặc awk:

awk '{a[$1" "$2]+=$3+$4}END{for (i in a){print i,a[i]}}' file 

Nếu bạn muốn đầu ra được sắp xếp theo cột thứ hai, bạn có thể chuyển sang sort:

awk '{a[$1" "$2]+=$3+$4}END{for (i in a){print i,a[i]}}' file | sort -k2

Lưu ý rằng cả hai giải pháp đều bao gồm cột 1. Ý tưởng là sử dụng cột thứ nhất và thứ hai làm khóa cho hàm băm (tính bằng perl) hoặc mảng kết hợp (tính bằng awk). Chìa khóa trong mỗi giải pháp là column1 column2như vậy nếu hai dòng có cùng một cột hai nhưng một cột khác nhau, chúng sẽ được nhóm riêng:

$ cat file
2 1019 2 3
2 1019 4 1
3 1019 2 2

$ awk '{a[$1" "$2]+=$3+$4}END{for (i in a){print i,a[i]}}' file
3 1019 4
2 1019 10

Có lẽ điều này có thể giúp ích, nhưng cột 1 luôn là 2 và kết quả có phụ thuộc vào nó không?

awk '{ map[$2] += $3 + $4; } END { for (i in map) { print "2", i, map[i] | "sort -t't'" } }' file

hoặc như được đề cập bởi glenn jackman trong các bình luận về sắp xếp:

gawk '{ map[$2] += $3 + $4; } END { PROCINFO["sorted_in"] = "@ind_str_asc"; for (i in map) { print 2, i, map[i] } }' file

Bạn có thể sắp xếp trước dữ liệu và để awk xử lý các chi tiết:

sort -n infile | awk 'NR>1 && p!=$2 {print p,s} {s+=$3+$4} {p=$2}'

Bạn có thể muốn đặt lại bộ tích lũy:

sort -n infile | awk 'NR>1 && p!=$2 {print p,s;s=0} {s+=$3+$4} {p=$2}'

Đầu ra:

1019 15
1021 19
1022 28
1030 34

Nếu bạn thực sự muốn giữ cột đầu tiên, hãy làm một cái gì đó như thế này:

sort -n infile | awk 'NR>1 && p!=$1FS$2 {print p,s} {s+=$3+$4} {p=$1FS$2}'

Đầu ra:

2 1019 15
2 1021 19
2 1022 28
2 1030 34

Giải trình

Các pbiến giữ $2giá trị của dòng trước đó, hoặc $1FS$2trong trường hợp thứ hai ở trên. Điều này có nghĩa {print p,s}là được kích hoạt khi $2dòng trước đó không giống với dòng trên dòng hiện tại ( p!=$2).

Sử dụng dao quân đội Thụy Sĩ sử dụng mlr:

mlr --nidx   put '$5=$3+$4'   then   stats1 -g 1,2 -f 5 -a sum   infile

Đầu ra:

2   1019    15
2   1021    4
2   1022    9
2   1030    6
2   1031    8

Ghi chú:

• --nidxnói mlrđể sử dụng tên trường số.

• put '$5=$3+$4'tạo trường thứ 5 mới , tổng của trường 3 và 4 .

• Các stats1chức năng (hoặc " động từ ") là một con dao quân đội swiss nhỏ
  trong lớn hơn con dao quân đội swiss của mlr, với một số chức năng dựa ắc như sum, count, mean, , vv

  stats1 -g 1,2nhóm dữ liệu theo cột 1 và 2 , -f 5 -a sumsau đó thêm trường 5 của các nhóm đó . stats1 chỉ in tên các lĩnh vực.