Kiểm tra xem tất cả các dòng của tập tin xảy ra trong các tập tin khác nhau

Tôi có hai tệp: file1 với khoảng 10 000 dòng và file2 với vài trăm dòng. Tôi muốn kiểm tra xem tất cả các dòng của file2 có xảy ra trong file1 không. Đó là: dòng ℓ ∈ file2: ℓ file1

Nếu ai đó không biết những ký hiệu này có nghĩa là gì hoặc "kiểm tra xem tất cả các dòng của tệp 2 xảy ra trong tệp 1" có nghĩa là gì: Một số dòng tương đương trong một trong hai tệp không ảnh hưởng đến việc kiểm tra có trả về các yêu cầu đó hay không.

Làm thế nào để tôi làm điều này?

comm -13 <(sort -u file_1) <(sort -u file_2)

Lệnh này sẽ xuất các dòng duy nhất cho file_2. Vì vậy, nếu đầu ra trống, thì tất cả các file_2dòng được chứa trong file_1.

Từ người đàn ông của comm:

   With  no  options,  produce  three-column  output.  Column one contains
   lines unique to FILE1, column two contains lines unique to  FILE2,  and
   column three contains lines common to both files.

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

[ $(grep -cxFf file2 <(sort -u file1)) = $(sort -u file2 | wc -l) ] && 
  echo all there || 
  echo some missing

Nếu số lượng trùng khớp từ tệp2 trong (các dòng duy nhất) của tệp1 giống với số lượng các dòng duy nhất trong tệp2, thì tất cả chúng đều ở đó; mặt khác, họ không.

Sử dụng GNU awk, nơi nó hỗ trợ length(array)tính năng cụ thể (và một số awktriển khai khác có thể hỗ trợ) và không bắt buộc nếu các tệp được sắp xếp.

gawk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{print (!length(seen))?"Matched":"Not Matched"}' file2 file1

Đây là đọc file2 thành một mảng được gọi seenvới khóa là toàn bộ dòng của tệp2 .

Sau đó đọc file1 và cho mỗi dòng nếu khớp với các dòng trong mảng nhìn thấy rồi xóa khóa đó.

Cuối cùng, nếu mảng trống có nghĩa là tất cả các dòng trong tệp 2 tồn tại trong tệp1 và sẽ in Matched, nếu không sẽ hiển thị Not Matched.

Đối với sự tương thích trong tất cả các awkthực hiện.

awk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{for(x in seen);print (!x)?"Matched":"Not Matched"}' file2 file1

Để bỏ qua các dòng trống / hoặc các dòng có khoảng trắng chỉ trong tệp 2 , bạn sẽ cần thêm NFvào điều kiện NR==FNR && NF {...để bỏ qua việc đọc chúng vào mảng.

Sử dụng commbạn có thể tìm thấy các dòng phổ biến trong cả hai tập tin.

comm -12 file1 file2

Hãy xem man commđể biết thêm chi tiết

diff -q <(sort -u file2) <(grep -Fxf file2 file1 | sort -u)

sẽ không tạo ra đầu ra nếu file1chứa tất cả các dòng vào file2và thoát với trạng thái 0, nếu không nó sẽ in một cái gì đó như

Files /proc/self/fd/11 and /proc/self/fd/12 differ

và thoát với trạng thái 1

Sử dụng chương trình Python:

#!/usr/bin/env python3
import sys

def open_arg(path):
    return sys.stdin if path == '-' else open(path)

def strip_linebreak(s):
    return s[:-1] if s.endswith('\n') else s

with open_arg(sys.argv[1]) as pattern_file:
    patterns = set(map(strip_linebreak, pattern_file))

with open_arg(sys.argv[2]) as dataset_file:
    for l in map(strip_linebreak, dataset_file):
        patterns.remove(l)
        if not patterns:
            break

sys.exit(int(bool(patterns)))

Sử dụng:

python3 contains-all.py file2 file1

Trạng thái thoát chương trình cho biết liệu tất cả các mẫu của tệp 2 có khớp hay không:

• 0 (thành công) có nghĩa là tất cả các mẫu đã được khớp.
• 1 (thất bại) có nghĩa là một số mẫu không khớp.

Để truy vấn trạng thái thoát trong một vỏ (script) bạn có thể sử dụng các $?biến đặc biệt hoặc biểu thức khác mà đánh giá trạng thái thoát lệnh, ví dụ như các nhà khai thác ngắn mạch &&và ||và các biểu thức có điều kiện như ifhay while. Thí dụ:

if python3 compare-all.py file2 file1 && some-other --condition; then
    # do stuff
fi

combinetừ moreutils sẽ hiển thị cho bạn tất cả các dòng file2không có trong file1:

combine file2 not file1

Sau đó, bạn có thể đếm số lượng dòng bằng cách đặt nó vào wc -l, như:

if [ $(combine file2 not file1 | wc -l) != 0 ]; then
  echo "lines missing"
else
  echo "You're fine"
fi