so sánh hai cột của các tệp khác nhau và in nếu nó khớp

Tôi đang sử dụng Solaris 10 và vì vậy các tùy chọn grep liên quan đến -f không hoạt động.

Tôi có hai tệp được phân tách bằng ống:

tập tin1:

abc|123|BNY|apple|
cab|234|cyx|orange|
def|kumar|pki|bird|

tập 2:

abc|123|
kumar|pki|
cab|234

Tôi muốn so sánh hai cột đầu tiên của tệp2 với tệp1 (tìm kiếm toàn bộ nội dung của tệp1 trong hai cột đầu tiên) nếu chúng khớp với dòng in của tệp1. Sau đó tìm kiếm dòng thứ hai của tệp 2 và cứ thế.

Đầu ra dự kiến:

abc|123|BNY|apple|
cab|234|cyx|orange|

Các tập tin tôi có rất lớn, chứa khoảng 400.000 dòng, vì vậy tôi muốn thực hiện nhanh chóng.

Đây là những gì awk được thiết kế cho:

$ awk -F'|' 'NR==FNR{c[$1$2]++;next};c[$1$2] > 0' file2 file1
abc|123|BNY|apple|
cab|234|cyx|orange|

Giải trình

• -F'|': đặt dấu phân cách trường thành |.
• NR==FNR: NR là số dòng đầu vào hiện tại và FNR số dòng của tệp hiện tại. Cả hai sẽ chỉ bằng nhau trong khi tập tin 1 đang được đọc.

• c[$1$2]++; next: nếu đây là tệp đầu tiên, hãy lưu hai trường đầu tiên trong cmảng. Sau đó, bỏ qua dòng tiếp theo để điều này chỉ được áp dụng trên tệp 1.

• c[$1$2]>0: khối khác sẽ chỉ được thực thi nếu đây là tệp thứ hai để chúng tôi kiểm tra xem các trường 1 và 2 của tệp này đã được nhìn thấy chưa ( c[$1$2]>0) và nếu chúng đã được, chúng tôi sẽ in dòng. Trong awk, hành động mặc định là in dòng để nếu c[$1$2]>0đúng, dòng sẽ được in.

Ngoài ra, vì bạn đã gắn thẻ với Perl:

perl -e 'open(A, "file2"); while(<A>){/.+?\|[^|]+/ && $k{$&}++};
         while(<>){/.+?\|[^|]+/ && do{print if defined($k{$&})}}' file1

Giải trình

Dòng đầu tiên sẽ mở file2, đọc mọi thứ cho đến lần thứ 2 |( .+?\|[^|]+) và lưu lại (đó $&là kết quả của toán tử khớp cuối cùng) trong %khàm băm.

Dòng thứ hai xử lý tệp1, sử dụng cùng một biểu thức chính để trích xuất hai cột thứ nhất và in dòng nếu các cột đó được xác định trong %khàm băm.

Cả hai cách tiếp cận trên sẽ cần giữ 2 cột đầu tiên của tệp2 trong bộ nhớ. Đó không phải là vấn đề nếu bạn chỉ có vài trăm nghìn dòng nhưng nếu có, bạn có thể làm một cái gì đó như

cut -d'|' -f 1,2 file2 | while read pat; do grep "^$pat" file1; done

Nhưng điều đó sẽ chậm hơn.

tôi nghĩ

grep -Ff file2 file1

là những gì bạn đang tìm kiếm. Nó sẽ hiệu quả, nhưng tôi không chắc nó sẽ chính xác như bạn muốn. Nếu abc|123(ví dụ) được tìm thấy trong một dòng file1trong các cột khác nhau, dòng đó cũng sẽ được in. Nếu bạn có thể đảm bảo rằng điều này sẽ không bao giờ xảy ra, dòng trên sẽ hoạt động.

Nếu bạn muốn nghĩ vấn đề theo cách SQL, thì bạn chắc chắn nên thử một công cụ có tên ' q ':

$ q -d '|' "select f1.* from file1 f1 join file2 f2 on (f1.c1 = f2.c1 and f1.c2 = f2.c2)"

Rõ ràng và dễ hiểu hơn nếu bạn quen thuộc với truy vấn SQL.

$  sed 's/^/\^/' 2.txt > temp.txt ; grep 1.txt -f temp.txt
abc|123|BNY|apple|
cab|234|cyx|orange|