Làm thế nào để loại bỏ các dòng trùng lặp trong một tập tin văn bản?

Một tệp văn bản khổng lồ (tối đa 2 GiB) của tôi chứa khoảng 100 bản sao chính xác của mỗi dòng trong đó (vô dụng trong trường hợp của tôi, vì tệp là một bảng dữ liệu giống như CSV).

Những gì tôi cần là loại bỏ tất cả các lần lặp lại trong khi (tốt nhất là, nhưng điều này có thể được hy sinh để tăng hiệu suất đáng kể) duy trì thứ tự trình tự ban đầu. Trong kết quả, mỗi dòng là duy nhất. Nếu có 100 dòng bằng nhau (thường là các bản sao được trải đều trên tệp và sẽ không là hàng xóm) thì chỉ còn một dòng duy nhất.

Tôi đã viết một chương trình bằng Scala (coi đó là Java nếu bạn không biết về Scala) để thực hiện điều này. Nhưng có lẽ có những công cụ bản địa viết C nhanh hơn có thể làm điều này nhanh hơn?

CẬP NHẬT: awk '!seen[$0]++' filenamegiải pháp có vẻ hoạt động tốt đối với tôi miễn là các tệp gần 2 GiB hoặc nhỏ hơn nhưng bây giờ tôi đang dọn sạch tệp 8 GiB thì nó không còn hoạt động nữa. Có vẻ như mất vô hạn trên máy Mac với RAM 4 GiB và PC Windows 7 64 bit với RAM 4 GiB và 6 GiB trao đổi vừa hết bộ nhớ. Và tôi không cảm thấy hào hứng khi thử nó trên Linux với RAM 4 GiB cho trải nghiệm này.

Một awkgiải pháp được thấy trên #bash (Freenode):

awk '!seen[$0]++' filename

Có một phương pháp đơn giản (không thể nói là rõ ràng) bằng cách sử dụng các tiện ích tiêu chuẩn không yêu cầu bộ nhớ lớn ngoại trừ để chạy sort, trong hầu hết các triển khai có tối ưu hóa cụ thể cho các tệp lớn (thuật toán sắp xếp bên ngoài tốt). Một lợi thế của phương pháp này là nó chỉ lặp trên tất cả các dòng bên trong các tiện ích đặc biệt, không bao giờ bên trong các ngôn ngữ được giải thích.

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

Nếu tất cả các dòng bắt đầu bằng một ký tự không phải khoảng trắng, bạn có thể phân phối với một số tùy chọn:

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

Đối với một số lượng lớn sao chép, một phương thức chỉ yêu cầu lưu trữ một bản sao duy nhất của mỗi dòng trong bộ nhớ sẽ hoạt động tốt hơn. Với một số overhead giải thích, có một kịch bản awk rất súc tích cho rằng (đã được đăng bởi enzotib ):

<input awk '!seen[$0]++'

Ít chính xác hơn : !seen[$0] {print} {seen[$0] += 1}, tức là in dòng hiện tại nếu nó chưa được nhìn thấy, sau đó tăng bộ seenđếm cho dòng này (các biến chưa được khởi tạo hoặc các phần tử mảng có giá trị bằng 0).

Đối với các dòng dài, bạn có thể lưu bộ nhớ bằng cách chỉ giữ một tổng kiểm tra không thể giả mạo (ví dụ: bản tóm tắt mật mã) của mỗi dòng. Ví dụ: sử dụng SHA-1, bạn chỉ cần 20 byte cộng với chi phí không đổi trên mỗi dòng. Nhưng tiêu hóa điện toán khá chậm; phương pháp này sẽ chỉ giành chiến thắng nếu bạn có CPU nhanh (đặc biệt là CPU có bộ tăng tốc phần cứng để tính toán các bản tóm tắt) và không có nhiều bộ nhớ liên quan đến kích thước của tệp và đủ dòng dài. Không có tiện ích cơ bản nào cho phép bạn tính toán tổng kiểm tra cho mỗi dòng; bạn phải chịu chi phí giải thích của Perl / Python / Ruby / Lỗi hoặc viết một chương trình được biên dịch chuyên dụng.

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

sort -u big-csv-file.csv > duplicates-removed.csv

Lưu ý rằng tập tin đầu ra sẽ được sắp xếp.

Giả sử bạn có thể đủ khả năng giữ nhiều tệp bị sao chép trong bộ nhớ (nếu dữ liệu của bạn thực sự được nhân đôi bởi hệ số 100, thì phải là khoảng 20MiB + trên đầu), bạn có thể thực hiện việc này rất dễ dàng với Perl.

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

Điều này bảo tồn trật tự quá.

Bạn có thể trích xuất số lần xuất hiện của mỗi dòng từ %duphàm băm nếu bạn muốn, như một phần thưởng miễn phí bổ sung.

Nếu bạn thích awk, điều này cũng nên làm điều đó (logic tương tự như phiên bản perl, cùng thứ tự, cùng dữ liệu được thu thập trong dupbiến):

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

Vì không có câu trả lời nào khác được cung cấp hỗ trợ tại chỗ, đây là một:

gawk -i inplace '!a[$0]++' file

Bạn có thể sử dụng uniq http://www.computerhope.com/unix/uuniq.htm

uniq báo cáo hoặc lọc ra các dòng lặp đi lặp lại trong một tập tin.

Lớp lót Python One:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile

Không có câu trả lời nào ở đây làm việc cho tôi trên máy Mac của tôi vì vậy tôi đã viết một kịch bản python đơn giản phù hợp với tôi. Tôi đang bỏ qua khoảng trắng hàng đầu / dấu và cũng không quan tâm đến việc tiêu thụ bộ nhớ.

import sys

inputfile = sys.argv[1]
outputfile = sys.argv[2]

with open(inputfile) as f:
    content = f.readlines()

content = [x.strip() for x in content]

my_list = list(set(content))

with open(outputfile, 'w') as output:
    for item in my_list:
        output.write("%s\n" % item)

Lưu phần trên vào unique lạ và chạy như thế này:

python unique.py inputfile.txt outputfile.txt

Với bash 4, một giải pháp bash thuần túy tận dụng các mảng kết hợp có thể được sử dụng. Đây là một ví dụ

unset llist; declare -A llist;
while read -r line; do
if [[ ${llist[$line]} ]]; then
  continue
else 
  printf '%s\n' "$line"
  llist[$line]="x"
fi
done < file.txt