Lệnh Unix để tìm các dòng phổ biến trong hai tệp

Tôi chắc chắn rằng tôi đã từng tìm thấy một lệnh unix có thể in các dòng chung từ hai hoặc nhiều tệp, có ai biết tên của nó không? Nó đơn giản hơn nhiều diff.

Lệnh bạn đang tìm kiếm là comm. ví dụ:-

comm -12 1.sorted.txt 2.sorted.txt

Đây:

-1 : chặn cột 1 (dòng duy nhất thành 1.sort.txt)

-2 : chặn cột 2 (các dòng duy nhất thành 2.sort.txt)

Để dễ dàng áp dụng lệnh comm cho các tệp chưa sắp xếp , hãy sử dụng thay thế quy trình của Bash :

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

Vì vậy, các tập tin abc và def có một dòng chung, một dòng có "132". Sử dụng comm trên các tệp chưa được sắp xếp:

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

Dòng cuối cùng không tạo ra đầu ra, dòng chung không được phát hiện.

Bây giờ sử dụng comm trên các tệp được sắp xếp, sắp xếp các tệp với quá trình thay thế:

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

Bây giờ chúng tôi đã có dòng 132!

Để bổ sung cho lớp lót Perl, đây là awktương đương:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

Điều này sẽ đọc tất cả các dòng từ file1vào mảng arr[], và sau đó kiểm tra từng dòng trong file2nếu nó đã tồn tại trong mảng (tức là file1). Các dòng được tìm thấy sẽ được in theo thứ tự xuất hiện file2. Lưu ý rằng so sánh in arrsử dụng toàn bộ dòng từ file2dưới dạng chỉ mục đến mảng, do đó, nó sẽ chỉ báo cáo kết quả khớp chính xác trên toàn bộ dòng.

Có lẽ bạn có ý nghĩa comm?

So sánh các tệp được sắp xếp FILE1 và FILE2 theo từng dòng.

Không có tùy chọn, sản xuất đầu ra ba cột. Cột một chứa các dòng duy nhất cho FILE1, cột hai chứa các dòng duy nhất cho FILE2 và cột ba chứa các dòng chung cho cả hai tệp.

Bí mật trong việc tìm kiếm những thông tin này là các trang thông tin. Đối với các chương trình GNU, chúng chi tiết hơn nhiều so với trang người dùng của chúng. Hãy thử info coreutilsvà nó sẽ liệt kê cho bạn tất cả các dụng cụ nhỏ hữu ích.

Trong khi

grep -v -f 1.txt 2.txt > 3.txt

cung cấp cho bạn sự khác biệt của hai tệp (những gì trong 2.txt và không phải trong 1.txt), bạn có thể dễ dàng thực hiện

grep -f 1.txt 2.txt > 3.txt

để thu thập tất cả các dòng chung, sẽ cung cấp một giải pháp dễ dàng cho vấn đề của bạn. Nếu bạn đã sắp xếp các tập tin, commdù sao bạn cũng nên dùng . Trân trọng!

Nếu hai tệp chưa được sắp xếp, bạn có thể sử dụng:

comm -12 <(sort a.txt) <(sort b.txt)

và nó sẽ hoạt động, tránh thông báo lỗi comm: file 2 is not in sorted order khi làm comm -12 a.txt b.txt.

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

Trên phiên bản giới hạn của Linux (như QNAP (Nas) tôi đang làm việc):

• comm không tồn tại
• grep -f file1 file2có thể gây ra một số vấn đề như đã nói bởi @ChristopherSchultz và việc sử dụng grep -F -f file1 file2rất chậm (hơn 5 phút - chưa hoàn thành - hơn 2-3 giây với phương pháp bên dưới trên các tệp trên 20MB)

Vì vậy, đây là những gì tôi đã làm:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

Nếu files.same.sortedsẽ có cùng thứ tự so với bản gốc, thì hãy thêm dòng này cho cùng thứ tự so với tệp1:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

hoặc, cho cùng một thứ tự so với tệp2:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

Chỉ để tham khảo nếu ai đó vẫn đang tìm cách làm điều này cho nhiều tệp, hãy xem câu trả lời được liên kết để Tìm dòng phù hợp trên nhiều tệp.

Kết hợp hai câu trả lời này ( ans1 và ans2 ), tôi nghĩ bạn có thể nhận được kết quả bạn cần mà không cần sắp xếp các tệp:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

Đơn giản chỉ cần lưu nó, cung cấp cho nó quyền thực thi ( chmod +x compareFiles.sh) và chạy nó. Nó sẽ lấy tất cả các tệp có trong thư mục làm việc hiện tại và sẽ tạo ra một so sánh tất cả so với tất cả để lại trong tệp "khớp_lines".

Những điều cần cải thiện:

• Bỏ qua thư mục
• Tránh so sánh tất cả các tệp hai lần (file1 vs file2 và file2 vs file1).
• Có thể thêm số dòng bên cạnh chuỗi phù hợp

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

Điều này nên làm điều đó.