Làm cách nào để xóa các dòng trùng lặp trong một tệp mà không sắp xếp nó trong Unix?

Có cách nào để xóa các dòng trùng lặp trong một tệp trong Unix không?

Tôi có thể làm điều đó với sort -uvà uniqcác lệnh, nhưng tôi muốn sử dụng sedhoặc awk. Điều đó có thể không?

awk '!seen[$0]++' file.txt

seenlà một mảng kết hợp mà Awk sẽ chuyển mọi dòng của tệp tới. Nếu một dòng không nằm trong mảng thì seen[$0]sẽ đánh giá thành false. Đây !là một toán tử KHÔNG logic và sẽ đảo ngược sai thành đúng. Awk sẽ in các dòng mà biểu thức ước lượng là true. Số ++gia tăng seenđể seen[$0] == 1sau lần đầu tiên một dòng được tìm thấy và sau đó seen[$0] == 2, v.v.
Awk đánh giá mọi thứ nhưng 0và ""(chuỗi rỗng) là đúng. Nếu một dòng trùng lặp được đặt vào seenthì !seen[$0]sẽ đánh giá thành false và dòng đó sẽ không được ghi vào đầu ra.

Từ http://sed.sourceforge.net/sed1line.txt : (Xin đừng hỏi tôi cách thức hoạt động của nó ;-))

 # delete duplicate, consecutive lines from a file (emulates "uniq").
 # First line in a set of duplicate lines is kept, rest are deleted.
 sed '$!N; /^\(.*\)\n\1$/!P; D'

 # delete duplicate, nonconsecutive lines from a file. Beware not to
 # overflow the buffer size of the hold space, or else use GNU sed.
 sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'

Perl one-liner tương tự như giải pháp awk của @ jonas:

perl -ne 'print if ! $x{$_}++' file

Biến thể này loại bỏ khoảng trắng theo dõi trước khi so sánh:

perl -lne 's/\s*$//; print if ! $x{$_}++' file

Biến thể này chỉnh sửa tệp tại chỗ:

perl -i -ne 'print if ! $x{$_}++' file

Biến thể này chỉnh sửa tệp tại chỗ và tạo bản sao lưu file.bak

perl -i.bak -ne 'print if ! $x{$_}++' file

Một lớp lót mà Andre Miller đã đăng ở trên hoạt động ngoại trừ các phiên bản gần đây của sed khi tệp đầu vào kết thúc bằng một dòng trống và không có ký tự. Trên máy Mac, CPU của tôi chỉ quay.

Vòng lặp vô hạn nếu dòng cuối cùng trống và không có ký tự :

sed '$!N; /^\(.*\)\n\1$/!P; D'

Không treo, nhưng bạn mất dòng cuối cùng

sed '$d;N; /^\(.*\)\n\1$/!P; D'

Lời giải thích nằm ở phần cuối của câu hỏi thường gặp về sed :

Người duy trì GNU sed cảm thấy rằng mặc dù có vấn đề về tính di động,
điều này sẽ gây ra, việc thay đổi lệnh N để in (thay vì
xóa) không gian mẫu phù hợp hơn với trực giác của một người
về cách một lệnh "nối dòng tiếp theo" phải hành xử.
Một thực tế khác có lợi cho sự thay đổi là "{N; lệnh;}" sẽ
xóa dòng cuối cùng nếu tệp có số dòng lẻ, nhưng
in dòng cuối nếu tệp có số dòng chẵn.

Để chuyển đổi các tập lệnh đã sử dụng hành vi trước đây của N (xóa
không gian mẫu khi đạt EOF) thành tập lệnh tương thích với
tất cả các phiên bản của sed, hãy thay đổi "N;" thành "$ d; N;" .

Một cách khác sử dụng Vim (tương thích Vi) :

Xóa các dòng trùng lặp, liên tiếp từ một tệp:

vim -esu NONE +'g/\v^(.*)\n\1$/d' +wq

Xóa các dòng trùng lặp, không liên tục và không trống từ một tệp:

vim -esu NONE +'g/\v^(.+)$\_.{-}^\1$/d' +wq

Giải pháp đầu tiên cũng là từ http://sed.sourceforge.net/sed1line.txt

$ echo -e '1\n2\n2\n3\n3\n3\n4\n4\n4\n4\n5' |sed -nr '$!N;/^(.*)\n\1$/!P;D'
1
2
3
4
5

ý tưởng cốt lõi là:

print ONLY once of each duplicate consecutive lines at its LAST appearance and use D command to implement LOOP.

Giải thích:

1. $!N;: nếu dòng hiện tại KHÔNG phải là dòng cuối cùng, hãy sử dụng Nlệnh để đọc dòng tiếp theo vàopattern space .
2. /^(.*)\n\1$/!P: nếu nội dung của dòng điện cách nhau pattern spacehai , có nghĩa là dòng tiếp theo là dòng hiện tại, chúng ta KHÔNG thể in nó theo ý tưởng cốt lõi của chúng tôi; cách khác, có nghĩa là dòng hiện tại là sự xuất hiện LAST của tất cả các dòng liên tiếp trùng lặp của nó, bây giờ chúng ta có thể sử dụng lệnh để in các ký tự trong hiện tại util ( cũng in).duplicate string\nsamePpattern space\n\n
3. D: Chúng tôi sử dụng Dlệnh để xóa các ký tự trong hiện tại pattern spaceutil \n( \ncũng xóa), sau đó nội dung củapattern space dòng tiếp theo.
4. và Dlệnh sẽ buộc sedphải nhảy tới FIRSTlệnh của nó $!N, nhưng KHÔNG đọc dòng tiếp theo từ tệp hoặc luồng đầu vào tiêu chuẩn.

Giải pháp thứ hai rất dễ hiểu (từ bản thân tôi):

$ echo -e '1\n2\n2\n3\n3\n3\n4\n4\n4\n4\n5' |sed -nr 'p;:loop;$!N;s/^(.*)\n\1$/\1/;tloop;D'
1
2
3
4
5

ý tưởng cốt lõi là:

print ONLY once of each duplicate consecutive lines at its FIRST appearance and use : command & t command to implement LOOP.

Giải thích:

1. đọc một dòng mới từ luồng đầu vào hoặc tệp và in nó một lần.
2. sử dụng :looplệnh đặt một labeltên loop.
3. sử dụng Nđể đọc dòng tiếp theo vào pattern space.
4. sử dụng s/^(.*)\n\1$/\1/để xóa dòng hiện tại nếu dòng tiếp theo giống với dòng hiện tại, chúng tôi sử dụng slệnh để thực hiện deletehành động.
5. nếu slệnh được thực thi thành công, sau đó sử dụng tlooplực lượng lệnh sedđể nhảy đến labeltên được đặt loop, sẽ thực hiện cùng một vòng lặp cho các dòng tiếp theo, không có các dòng liên tiếp trùng lặp của dòng đó latest printed; mặt khác, sử dụng Dlệnh cho deletedòng tương tự với latest-printed linevà buộc sedphải nhảy tới lệnh đầu tiên, đó là plệnh, nội dung của dòng điện pattern spacelà dòng mới tiếp theo.

Điều này có thể đạt được bằng cách sử dụng awk
Dưới đây Line sẽ hiển thị các Giá trị duy nhất

awk file_name | uniq

Bạn có thể xuất các giá trị duy nhất này sang một tệp mới

awk file_name | uniq > uniq_file_name

tệp mới uniq_file_name sẽ chỉ chứa các giá trị duy nhất, không trùng lặp

cat filename | sort | uniq -c | awk -F" " '$1<2 {print $2}'

Xóa các dòng trùng lặp bằng awk.