Xóa tất cả các dòng trong tệp A có chứa các chuỗi trong tệp B

Tôi có tệp CSV users.csvcó danh sách tên người dùng, tên người dùng và dữ liệu khác:

username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"Paul McCartny", 30923833, "left", "black"
"Ringo Starr", 77392318, "right", "blue"
"George Harrison", 72349482, "left", "green"

Trong một tệp khác toremove.txttôi có một danh sách các userID:

30923833
77392318

Có cách nào thông minh, hiệu quả để xóa tất cả các hàng khỏi users.csvtệp có chứa ID toremove.txtkhông? Tôi đã viết một ứng dụng Python đơn giản để phân tích hai tệp và ghi vào một tệp mới chỉ những dòng không được tìm thấy toremove.txt, nhưng nó rất chậm. Có lẽ một số sedhoặc awkphép thuật có thể giúp đỡ ở đây?

Đây là kết quả mong muốn, xem xét các ví dụ trên:

username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Với grep, bạn có thể làm:

$ grep -vwF -f toremove.txt users.txt 
username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Với awk:

$ awk -F'[ ,]' 'FNR==NR{a[$1];next} !($4 in a)' toremove.txt users.txt 
username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Đây là awkcâu trả lời của Gnouc , được sửa đổi thành mù không gian:

awk -F, 'FNR==NR{a[$1];next} !(gensub("^ *","",1,$2) in a)' toremove.txt users.csv

Kể từ khi nó chỉ sử dụng dấu phẩy (và không gian) như delimiters, $1là "John Lennon", $2là  90123412(với một không gian hàng đầu), vv Vì vậy, chúng tôi sử dụng gensubđể loại bỏ bất kỳ số lượng không gian hàng đầu từ $2 trước khi chúng tôi kiểm tra xem nó (userid) là trong toremove.txttập tin.

OK một cách ruby: nếu bạn có một danh sách các chuỗi trong một tệp và bạn muốn xóa tất cả các dòng khỏi một tệp khác thậm chí chứa bất kỳ chuỗi nào trong tệp đầu tiên (trong trường hợp này là xóa "file2" khỏi tệp ruby ​​"file1") :

b=File.read("file2").split # subtract this one out
remove_regex = Regexp.new(b.join('|'))
File.open("file1", "r").each_line do |line|
  if line !~ remove_regex
    puts line
  end
end

Thật không may với một tệp "loại bỏ" lớn, điều này dường như làm giảm độ phức tạp thành O (N ^ 2) (giả định của tôi là regrec có rất nhiều việc phải làm), nhưng vẫn có thể hữu ích cho ai đó ngoài đó (nếu bạn muốn nhiều hơn là loại bỏ các dòng đầy đủ). Nó có thể nhanh hơn trong một số trường hợp.

Một tùy chọn khác nếu bạn muốn tăng tốc là sử dụng cùng một cơ chế kiểm tra băm, nhưng cẩn thận "phân tích" dòng cho các chuỗi có thể khớp, sau đó so sánh chúng với hàm băm của bạn.

Trong ruby, có thể trông như thế này:

b=File.read("file2").split # subtract this one out
hash={}
for line in b
  hash[line] = 1
end

ARGF.each_line do |line|
  ok = true
  for number in line.scan(/\d{9}/)
    if hash.key? number
      ok=false
    end
  end
  if (ok)
    puts line
  end
end

Xem thêm câu trả lời của Scott, nó tương tự như câu trả lời awk được đề xuất ở đây và tránh sự phức tạp của O (N ^ 2) (phew).