uniq một tập tin csv bỏ qua một cột, awk có thể?

Đưa ra tệp này (chú thích không phải là một phần của tệp, nhưng là một phần của giải thích) ...

x,a,001,b,c,d,y
x,a,002,b,c,e,yy
x,bb,003,b,d,e,y
x,c,004,b,d,e,y
x,c,005,b,d,e,y   # nb - dupe of row 4
x,dd,006,b,d,e,y
x,c,007,b,d,e,y   # nb - dupe of row 4 and 5
x,dd,008,b,d,f,y
x,dd,009,b,d,e,y   # nb - dupe of row 6
x,e,010,b,d,f,y

... Tôi muốn lấy đầu ra sau:

x,a,001,b,c,d,y
x,a,002,b,c,e,yy
x,bb,003,b,d,e,y
x,c,004,b,d,e,y
x,dd,006,b,d,e,y
x,dd,008,b,d,f,y
x,e,010,b,d,f,y

Nếu cột 3 bị cắt khỏi tệp và sau đó uniq được chạy trên tệp, thì nếu các hàng còn lại có cột ba giá trị được thêm lại vào đúng vị trí, thì tôi sẽ nhận được kết quả trên.

Nhưng tôi thực sự vật lộn, để đưa ra một cái gì đó sẽ làm điều này. Tôi hoan nghênh cơ hội tìm hiểu về các tiện ích xử lý văn bản của linux.

Hiệu suất: Các tệp không có khả năng tăng lên hơn 1 MB và chỉ có 1 tệp mỗi ngày.

Mục tiêu: Debian GNU / Linux 7 amd64, 256MB / Xeon.

Chỉnh sửa: ví dụ được điều chỉnh vì các trường không phải là băng thông cố định và một giải pháp liên quan uniq --skip-chars=nsẽ không hoạt động như tôi có thể nói.

Với awk, bạn có thể làm:

awk -F, -vOFS=, '{l=$0; $3=""}; ! ($0 in seen) {print l; seen[$0]}'

Cách đơn giản nhất :

sort -u -t, -k1,2 -k4

• -u: chỉ xuất ra dòng đầu tiên bằng
• -t,: sử dụng dấu phẩy làm dấu tách trường
• -k1,2 -k4: chỉ sắp xếp trên các trường 1,2 và 4 và phần còn lại

Một tùy chọn khác là sắp xếp lại dữ liệu với sed(lưu ý tùy chọn GNU -r) ở cả hai bên - điều này đòi hỏi các bản ghi phải có độ dài cố định, nếu không nó sẽ thất bại (và hầu như không đáng chú ý):

sed -r       's/^([^,]+,[^,]+)(,[^,]+)(.*)$/\1\3\2/' \
    | sort \
    | uniq -w 12 \
    | sed -r 's/^([^,]+,[^,]+)(.*)(,[^,]+)$/\1\3\2/'

Bạn có thể muốn thêm một cái khác sortở cuối để sắp xếp nó theo số, nếu muốn (sử dụng -ktùy chọn để chọn theo những gì sắp xếp nên được thực hiện - tức là một cái gì đó như sed -k3 -t,)

Ví dụ, trong Perl, bạn có thể sử dụng các phần mà bạn muốn quyết định tính duy nhất là các khóa trong hàm băm (giá trị của các dòng đầy đủ) và chỉ chèn vào hàm băm nếu khóa chưa được xác định. Điều này tất nhiên sẽ linh hoạt hơn nhiều so với việc sử dụng sed(hoặc awk), nhưng cũng viết nhiều hơn (tôi ở xa Perl Guru, vì vậy rất có thể nó có thể được thực hiện theo cách thanh lịch hơn nhiều - xem các câu trả lời khác cho Perl giống như Giải pháp Perl):

#!/usr/bin/perl
use strict;

my %lines;
while (<>) {
    (my $k1, my $v, my $k2) = /^([^,]+,[^,]+,)([^,]+)(,.*)$/;
    my $k = $k1 . $k2;
    if (!exists($lines{$k})) {
        $lines{$k} = $_;
    }
}

for my $k (sort(keys(%lines))) {
    print $lines{$k};
}

Một cách để làm điều này với awk | sort | uniq | awk:

awk -F, '{a=$1;$1=$3;$3=a;print}' file | sort -k 2 | uniq -f 1 | awk -v OFS=',' '{a=$1;$1=$3;$3=a;print}'

Một cách đơn giản hơn Perl sẽ là:

perl -F"," -ane '$a=join(",",@F[0,1,3 .. $#F]); print unless $k{$a}; $k{$a}++' file

Các -atrường tách các @Fmảng thành mảng và -F","đặt dấu phân cách trường thành ,. -ncó nghĩa là chạy tập lệnh được cung cấp bởi -etrên mỗi dòng của tệp đầu vào.

Ý tưởng là lấy một lát mảng (các phần tử 0,1 và 3 cho đến hết mảng), nối chúng thành một chuỗi ( $a) và sử dụng chuỗi đó làm tham chiếu băm (mảng kết hợp). Sau đó, bạn chỉ in mỗi dòng nếu khóa băm chưa được nhìn thấy trước đó.