Làm thế nào để biết nếu một tệp văn bản là một tập hợp con của một tập tin khác

Tôi đang cố gắng tìm cách xác định xem một tệp văn bản có phải là tập hợp con của một tệp khác không ..

Ví dụ:

foo
bar

là một tập hợp con của

foo
bar
pluto

Trong khi:

foo
pluto

và

foo
bar

không phải là một tập hợp con của nhau ...

Có cách nào để làm điều này với một lệnh?

Kiểm tra này phải là kiểm tra chéo và phải trả lại:

file1 subset of file2 :    True
file2 subset of file1 :    True
otherwise             :    False

Nếu những nội dung tập tin được gọi file1, file2và file3theo thứ tự apearance sau đó bạn có thể làm điều đó với những điều sau một lót:

 # python -c "x=open('file1').read(); y=open('file2').read(); print x in y or y in x"
 True
 # python -c "x=open('file2').read(); y=open('file1').read(); print x in y or y in x"
 True
 # python -c "x=open('file1').read(); y=open('file3').read(); print x in y or y in x"
 False

Với perl:

if perl -0777 -e '$n = <>; $h = <>; exit(index($h,$n)<0)' needle.txt haystack.txt
then echo needle.txt is found in haystack.txt
fi

-0octalxác định dấu phân cách bản ghi. Khi số bát phân đó lớn hơn 0377 (giá trị byte tối đa), điều đó có nghĩa là không có dấu phân cách, nó tương đương với việc thực hiện $/ = undef. Trong trường hợp đó, <>trả về toàn bộ nội dung của một tệp, đó là chế độ nhếch nhác .

Khi chúng tôi có nội dung của các tệp trong hai $hvà $nbiến, chúng tôi có thể sử dụng index()để xác định xem cái này có được tìm thấy trong cái kia không.

Tuy nhiên, điều đó có nghĩa là toàn bộ tệp được lưu trữ trong bộ nhớ, điều đó có nghĩa là phương thức đó sẽ không hoạt động đối với các tệp rất lớn.

Đối với các tệp mmappable (thường bao gồm các tệp thông thường và hầu hết các tệp có thể tìm kiếm như thiết bị khối), có thể được xử lý bằng cách sử dụng mmap()trên các tệp, như với Sys::Mmapmô-đun perl:

if 
  perl -MSys::Mmap -le '
    open N, "<", $ARGV[0] || die "$ARGV[0]: $!";
    open H, "<", $ARGV[1] || die "$ARGV[1]: $!";
    mmap($n, 0, PROT_READ, MAP_SHARED, N);
    mmap($h, 0, PROT_READ, MAP_SHARED, H);
    exit (index($h, $n) < 0)' needle.txt haystack.txt
then
  echo needle.txt is found in haystack.txt
fi

Tôi tìm thấy một giải pháp nhờ câu hỏi này

Về cơ bản tôi đang thử nghiệm hai tệp a.txtvà b.txtvới tập lệnh này:

#!/bin/bash

first_cmp=$(diff --unchanged-line-format= --old-line-format= --new-line-format='%L' "$1" "$2" | wc -l)
second_cmp=$(diff --unchanged-line-format= --old-line-format= --new-line-format='%L' "$2" "$1" | wc -l)

if [ "$first_cmp" -eq "0" -o "$second_cmp" -eq "0" ]
then
    echo "Subset"
    exit 0
else
    echo "Not subset"
    exit 1
fi

Nếu ai được tập hợp con của người kia sự trở lại kịch bản 0cho Truekhác 1.

Nếu F1 là tập con của f2 thì F1 - f2 là tập rỗng. Dựa vào đó chúng ta có thể viết một hàm is_subset và một hàm xuất phát từ nó. Theo cài đặt chênh lệch giữa 2 tệp văn bản

sort_files () {
  F1_sort = "$ 1.sort"
  f2_sort = "$ 2.sort"

  nếu [ ! -f $ f1_sort]; sau đó
    mèo $ 1 | sắp xếp | uniq> $ f1_sort
  fi

  nếu [ ! -f $ f2_sort]; sau đó
    mèo $ 2 | sắp xếp | uniq> $ f2_sort
  fi
}

remove_sort_files () {
  F1_sort = "$ 1.sort"
  f2_sort = "$ 2.sort"
  rm -f $ f1_sort
  rm -f $ f2_sort
}

set_union () {
  sort_files $ 1 $ 2
  con mèo "$ 1.sort" "$ 2.sort" | sắp xếp | uniq
  remove_sort_files $ 1 $ 2
}

set_diff () {
  sort_files $ 1 $ 2
  con mèo "$ 1.sort" "$ 2.sort" "$ 2.sort" | sắp xếp | uniq -u
  remove_sort_files $ 1 $ 2
}

rset_diff () {
  sort_files $ 1 $ 2
  con mèo "$ 1.sort" "$ 2.sort" "$ 1.sort" | sắp xếp | uniq -u
  remove_sort_files $ 1 $ 2
}

is_subset () {
  sort_files $ 1 $ 2
  đầu ra = $ (set_diff $ 1 $ 2)
  remove_sort_files $ 1 $ 2

  nếu [-z $ đầu ra]; sau đó
    trả về 0
  khác
    trả lại 1
  fi

}

Từ http://www.catonmat.net/blog/set-operations-in-unix-shell/ :

Comm so sánh hai tập tin được sắp xếp theo từng dòng. Nó có thể được chạy theo cách nó xuất ra các dòng chỉ xuất hiện trong tệp được chỉ định đầu tiên. Nếu tệp đầu tiên là tập con của tệp thứ hai, thì tất cả các dòng trong tệp thứ 1 cũng xuất hiện trong tệp thứ 2, do đó không có đầu ra nào được tạo ra:

$ comm -23 <(sort subset | uniq) <(sort set | uniq) | head -1
# comm returns no output if subset ⊆ set
# comm outputs something if subset ⊊ set