Xóa các dòng khỏi một tệp nằm trong tệp khác

Tôi có một tệp f1:

line1
line2
line3
line4
..
..

Tôi muốn xóa tất cả các dòng trong một tệp khác f2:

line2
line8
..
..

Tôi đã thử một cái gì đó với catvà sed, thậm chí không gần với những gì tôi dự định. Tôi có thể làm cái này như thế nào?

grep -v -x -f f2 f1 nên làm thủ thuật.

Giải trình:

• -v để chọn các dòng không khớp
• -x để khớp toàn bộ dòng
• -f f2 để lấy mẫu từ f2

Một thay vì có thể sử dụng grep -Fhoặc fgrepđể phù hợp với chuỗi cố định từ f2chứ không phải là mô hình (trong trường hợp bạn muốn loại bỏ các dòng trong một "những gì bạn thấy nếu những gì bạn nhận được" cách hơn là điều trị các dòng trong f2như mẫu regex).

Hãy thử dấu phẩy (giả sử f1 và f2 "đã được sắp xếp")

comm -2 -3 f1 f2

Để loại trừ các tệp không quá lớn, bạn có thể sử dụng các mảng liên kết của AWK.

awk 'NR == FNR { list[tolower($0)]=1; next } { if (! list[tolower($0)]) print }' exclude-these.txt from-this.txt 

Đầu ra sẽ có cùng thứ tự với tệp "from-this.txt". Các tolower()chức năng làm cho nó case-insensitive, nếu bạn cần điều đó.

Độ phức tạp của thuật toán có thể sẽ là O (n) (loại trừ-this.txt size) + O (n) (from-this.txt size)

Tương tự như câu trả lời của Dennis Williamson (hầu hết là các thay đổi về cú pháp, ví dụ: đặt số tệp một cách rõ ràng thay vì NR == FNRthủ thuật):

awk '{if (f==1) { r[$0] } else if (! ($0 in r)) { print $0 } } ' f=1 exclude-these.txt f=2 from-this.txt

Việc truy cập r[$0]sẽ tạo mục nhập cho dòng đó, không cần đặt giá trị.

Giả sử awk sử dụng bảng băm với thời gian tra cứu liên tục và (trung bình) không đổi, thì độ phức tạp về thời gian của bảng này sẽ là O (n + m), trong đó n và m là độ dài của tệp. Trong trường hợp của tôi, n là ~ 25 triệu và m ~ 14000. Giải pháp awk nhanh hơn nhiều so với sắp xếp và tôi cũng thích giữ thứ tự ban đầu hơn.

nếu bạn có Ruby (1.9+)

#!/usr/bin/env ruby 
b=File.read("file2").split
open("file1").each do |x|
  x.chomp!
  puts x if !b.include?(x)
end

Trong đó có độ phức tạp O (N ^ 2). Nếu bạn muốn quan tâm đến hiệu suất, đây là một phiên bản khác

b=File.read("file2").split
a=File.read("file1").split
(a-b).each {|x| puts x}

sử dụng một hàm băm để thực hiện phép trừ, độ phức tạp O (n) (kích thước của a) + O (n) (kích thước của b) cũng vậy

đây là một điểm chuẩn nhỏ, được sự cho phép của người dùng576875, nhưng với 100K dòng, ở trên:

$ for i in $(seq 1 100000); do echo "$i"; done|sort --random-sort > file1
$ for i in $(seq 1 2 100000); do echo "$i"; done|sort --random-sort > file2
$ time ruby test.rb > ruby.test

real    0m0.639s
user    0m0.554s
sys     0m0.021s

$time sort file1 file2|uniq -u  > sort.test

real    0m2.311s
user    0m1.959s
sys     0m0.040s

$ diff <(sort -n ruby.test) <(sort -n sort.test)
$

diff được sử dụng để cho thấy không có sự khác biệt giữa 2 tệp được tạo.

Một số so sánh về thời gian giữa các câu trả lời khác nhau:

$ for n in {1..10000}; do echo $RANDOM; done > f1
$ for n in {1..10000}; do echo $RANDOM; done > f2
$ time comm -23 <(sort f1) <(sort f2) > /dev/null

real    0m0.019s
user    0m0.023s
sys     0m0.012s
$ time ruby -e 'puts File.readlines("f1") - File.readlines("f2")' > /dev/null

real    0m0.026s
user    0m0.018s
sys     0m0.007s
$ time grep -xvf f2 f1 > /dev/null

real    0m43.197s
user    0m43.155s
sys     0m0.040s

sort f1 f2 | uniq -u thậm chí không phải là một sự khác biệt đối xứng, bởi vì nó loại bỏ các dòng xuất hiện nhiều lần trong một trong hai tệp.

comm cũng có thể được sử dụng với chuỗi stdin và đây:

echo $'a\nb' | comm -23 <(sort) <(sort <<< $'c\nb') # a

Có vẻ là một công việc phù hợp với SQLite shell:

create table file1(line text);
create index if1 on file1(line ASC);
create table file2(line text);
create index if2 on file2(line ASC);
-- comment: if you have | in your files then specify “ .separator ××any_improbable_string×× ”
.import 'file1.txt' file1
.import 'file2.txt' file2
.output result.txt
select * from file2 where line not in (select line from file1);
.q

Bạn đã thử điều này với sed?

sed 's#^#sed -i '"'"'s%#g' f2 > f2.sh

sed -i 's#$#%%g'"'"' f1#g' f2.sh

sed -i '1i#!/bin/bash' f2.sh

sh f2.sh

Không phải là câu trả lời 'lập trình' nhưng đây là một giải pháp nhanh chóng và hiệu quả: chỉ cần truy cập http://www.listdiff.com/compare-2-lists-difference-tool .

Rõ ràng là sẽ không hoạt động đối với các tệp lớn nhưng nó đã giúp tôi. Một số lưu ý:

• Tôi không liên kết với trang web theo bất kỳ cách nào (nếu bạn vẫn không tin tôi, thì bạn có thể tìm kiếm một công cụ khác trực tuyến; tôi đã sử dụng cụm từ tìm kiếm "đặt danh sách khác biệt trực tuyến")
• Trang web được liên kết dường như thực hiện các cuộc gọi mạng trên mọi so sánh danh sách, vì vậy đừng cung cấp cho nó bất kỳ dữ liệu nhạy cảm nào