Nhận số lượng các giá trị duy nhất trong một cột trong bash

Tôi có các tệp được phân cách bằng tab với một số cột. Tôi muốn đếm tần suất xuất hiện của các giá trị khác nhau trong một cột cho tất cả các tệp trong một thư mục và sắp xếp chúng theo thứ tự số lượng giảm dần (số lượng cao nhất trước). Làm cách nào để thực hiện điều này trong môi trường dòng lệnh Linux?

Nó có thể sử dụng bất kỳ ngôn ngữ dòng lệnh phổ biến nào như awk, perl, python, v.v.

Để xem số lượng tần suất cho cột hai (ví dụ):

awk -F '\t' '{print $2}' * | sort | uniq -c | sort -nr

fileA.txt

z    z    a
a    b    c
w    d    e

fileB.txt

t    r    e
z    d    a
a    g    c

fileC.txt

z    r    a
v    d    c
a    m    c

Kết quả:

  3 d
  2 r
  1 z
  1 m
  1 g
  1 b

Đây là một cách để làm điều đó trong shell:

FIELD=2
cut -f $FIELD * | sort| uniq -c |sort -nr

Đây là loại điều mà bash rất tuyệt.

Trang GNU gợi ý tập lệnh awk hay này, nó in cả các từ và tần số của chúng.

Những thay đổi có thể xảy ra:

• Bạn có thể chuyển qua sort -nr(và đảo ngược wordvà freq[word]) để xem kết quả theo thứ tự giảm dần.
• Nếu bạn muốn một cột cụ thể, bạn có thể bỏ qua vòng lặp for và chỉ cần viết freq[3]++- thay thế 3 bằng số cột.

Đây là:

 # wordfreq.awk --- print list of word frequencies

 {
     $0 = tolower($0)    # remove case distinctions
     # remove punctuation
     gsub(/[^[:alnum:]_[:blank:]]/, "", $0)
     for (i = 1; i <= NF; i++)
         freq[$i]++
 }

 END {
     for (word in freq)
         printf "%s\t%d\n", word, freq[word]
 }

Perl

Mã này tính toán các lần xuất hiện của tất cả các cột và in một báo cáo được sắp xếp cho từng cột trong số chúng:

# columnvalues.pl
while (<>) {
    @Fields = split /\s+/;
    for $i ( 0 .. $#Fields ) {
        $result[$i]{$Fields[$i]}++
    };
}
for $j ( 0 .. $#result ) {
    print "column $j:\n";
    @values = keys %{$result[$j]};
    @sorted = sort { $result[$j]{$b} <=> $result[$j]{$a}  ||  $a cmp $b } @values;
    for $k ( @sorted ) {
        print " $k $result[$j]{$k}\n"
    }
}

Lưu văn bản dưới dạng giá trị column.pl
Chạy nó dưới dạng: perl columnvalues.pl files*

Giải trình

Trong vòng lặp while cấp cao nhất:
* Lặp lại từng dòng của tệp đầu vào được kết hợp
* Tách dòng thành mảng @Fields
* Đối với mỗi cột, hãy tăng cấu trúc dữ liệu mảng-của-băm kết quả

Trong vòng lặp for cấp cao nhất:
* Lặp lại mảng kết quả
* In số cột
* Lấy các giá trị được sử dụng trong cột đó
* Sắp xếp các giá trị theo số lần xuất hiện
* Sắp xếp thứ cấp dựa trên giá trị (ví dụ: b vs g vs m vs z)
* Lặp lại thông qua băm kết quả, sử dụng danh sách đã sắp xếp
* In giá trị và số của mỗi lần xuất hiện

Kết quả dựa trên các tệp đầu vào mẫu do @Dennis cung cấp

column 0:
 a 3
 z 3
 t 1
 v 1
 w 1
column 1:
 d 3
 r 2
 b 1
 g 1
 m 1
 z 1
column 2:
 c 4
 a 3
 e 2

đầu vào .csv

Nếu tệp đầu vào của bạn là .csv, hãy thay đổi /\s+/thành/,/

Sự xáo trộn

Trong một cuộc thi xấu xí, Perl đặc biệt được trang bị tốt.
Một lớp lót này thực hiện tương tự:

perl -lane 'for $i (0..$#F){$g[$i]{$F[$i]}++};END{for $j (0..$#g){print "$j:";for $k (sort{$g[$j]{$b}<=>$g[$j]{$a}||$a cmp $b} keys %{$g[$j]}){print " $k $g[$j]{$k}"}}}' files*

Ruby (1.9+)

#!/usr/bin/env ruby
Dir["*"].each do |file|
    h=Hash.new(0)
    open(file).each do |row|
        row.chomp.split("\t").each do |w|
            h[ w ] += 1
        end
    end
    h.sort{|a,b| b[1]<=>a[1] }.each{|x,y| print "#{x}:#{y}\n" }
end