Làm cách nào để xóa khỏi tệp văn bản, tất cả các dòng có chứa một chuỗi cụ thể?

Làm cách nào để sử dụng sed để xóa tất cả các dòng trong tệp văn bản có chứa một chuỗi cụ thể?

Để xóa dòng và in đầu ra ra tiêu chuẩn:

sed '/pattern to match/d' ./infile

Để trực tiếp sửa đổi tệp - không hoạt động với BSD sed:

sed -i '/pattern to match/d' ./infile

Tương tự, nhưng đối với BSD sed (Mac OS X và FreeBSD) - không hoạt động với GNU sed:

sed -i '' '/pattern to match/d' ./infile

Để trực tiếp sửa đổi tệp (và tạo bản sao lưu) - hoạt động với BSD và GNU sed:

sed -i.bak '/pattern to match/d' ./infile

Có nhiều cách khác để xóa các dòng với chuỗi cụ thể bên cạnh sed:

AWK

awk '!/pattern/' file > temp && mv temp file

Ruby (1.9+)

ruby -i.bak -ne 'print if not /test/' file

Perl

perl -ni.bak -e "print unless /pattern/" file

Shell (bash 3.2 trở lên)

while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

GNU grep

grep -v "pattern" file > temp && mv temp file

Và tất nhiên sed(in ngược lại nhanh hơn xóa thực tế):

sed -n '/pattern/!p' file

Bạn có thể sử dụng sed để thay thế các dòng tại chỗ trong một tập tin. Tuy nhiên, dường như chậm hơn nhiều so với việc sử dụng grep cho nghịch đảo thành tệp thứ hai và sau đó di chuyển tệp thứ hai so với tệp gốc.

ví dụ

sed -i '/pattern/d' filename      

hoặc là

grep -v "pattern" filename > filename2; mv filename2 filename

Lệnh đầu tiên mất 3 lần lâu hơn trên máy của tôi.

Cách dễ dàng để làm điều đó, với GNU sed:

sed --in-place '/some string here/d' yourfile

Bạn có thể cân nhắc sử dụng ex(là trình soạn thảo dựa trên lệnh Unix tiêu chuẩn):

ex +g/match/d -cwq file

Ở đâu:

• +thực thi lệnh Ex ( man ex), giống như -cthực thi wq(ghi và thoát)
• g/match/d- Lệnh Ex để xóa các dòng đã cho match, xem: Sức mạnh của g

Ví dụ trên là một phương pháp tuân thủ POSIX để chỉnh sửa tại chỗ một tệp theo bài đăng này tại các thông số kỹ thuật của exUnix.SE và POSIX cho .

Sự khác biệt với sedlà:

sedlà một S tream ED itor, không phải là một trình soạn thảo tập tin. ^BashFAQ

Trừ khi bạn thích mã không thể truy cập, I / O trên đầu và một số tác dụng phụ xấu khác. Vì vậy, về cơ bản một số tham số (chẳng hạn như tại chỗ / -i) là các tiện ích mở rộng FreeBSD không chuẩn và có thể không khả dụng trên các hệ điều hành khác.

Tôi đã vật lộn với điều này trên Mac. Thêm vào đó, tôi cần phải làm điều đó bằng cách sử dụng thay thế biến.

Vì vậy, tôi đã sử dụng:

sed -i '' "/$pattern/d" $file

đâu $filelà tập tin cần xóa và $patternlà mẫu cần khớp để xóa.

Tôi chọn ''từ nhận xét này .

Điều cần lưu ý ở đây là sử dụng dấu ngoặc kép trong "/$pattern/d". Biến sẽ không hoạt động khi chúng tôi sử dụng dấu ngoặc đơn.

Tôi đã tạo một điểm chuẩn nhỏ với một tệp chứa khoảng 345 000 dòng. Cách với grepdường như nhanh hơn khoảng 15 lần so với sedphương pháp trong trường hợp này.

Tôi đã thử cả có và không có cài đặt LC_ALL = C, có vẻ như không thay đổi đáng kể thời gian. Chuỗi tìm kiếm (CDGA_00004.pdbqt.gz.tar) nằm ở đâu đó ở giữa tệp.

Dưới đây là các lệnh và thời gian:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

Bạn cũng có thể sử dụng điều này:

 grep -v 'pattern' filename

Ở đây -vsẽ chỉ in khác với mẫu của bạn (có nghĩa là đảo ngược khớp).

Để có được kết quả như tại chỗ với grepbạn có thể làm điều này:

echo "$(grep -v "pattern" filename)" >filename

SED:

• '/James\|John/d'
• -n '/James\|John/!p'

GIẢI THƯỞNG:

• '!/James|John/'
• /James|John/ {next;} {print}

LỚN:

• -v 'James\|John'

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

Lệnh đầu tiên chỉnh sửa (các) tệp tại chỗ (-i).

Lệnh thứ hai thực hiện tương tự nhưng giữ một bản sao hoặc sao lưu (các) tệp gốc bằng cách thêm .bk vào tên tệp (.bk có thể được thay đổi thành bất kỳ thứ gì).

echo -e "/thing_to_delete\ndd\033:x\n" | vim file_to_edit.txt

Chỉ trong trường hợp ai đó muốn làm điều đó cho các chuỗi chính xác, bạn có thể sử dụng -wcờ trong grep - w cho toàn bộ. Đó là, ví dụ nếu bạn muốn xóa các dòng có số 11, nhưng giữ các dòng có số 111:

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

Nó cũng hoạt động với -fcờ nếu bạn muốn loại trừ một số mẫu chính xác cùng một lúc. Nếu "danh sách đen" là một tệp có nhiều mẫu trên mỗi dòng mà bạn muốn xóa khỏi "tệp":

grep -w -v -f blacklist file

cat filename | grep -v "pattern" > filename.1
mv filename.1 filename

để hiển thị văn bản được xử lý trong bảng điều khiển

cat filename | sed '/text to remove/d' 

lưu văn bản đã xử lý vào một tập tin

cat filename | sed '/text to remove/d' > newfile

để thêm thông tin văn bản được xử lý một tập tin hiện có

cat filename | sed '/text to remove/d' >> newfile

để xử lý văn bản đã được xử lý, trong trường hợp này, hãy xóa nhiều dòng hơn những gì đã bị xóa

cat filename | sed '/text to remove/d' | sed '/remove this too/d' | more

những | moresẽ hiển thị văn bản trong khối của một trang tại một thời điểm.

Bạn có thể sử dụng tốt edđể chỉnh sửa một tệp theo cách tương tự với câu trả lời sử dụng ex. Sự khác biệt lớn trong trường hợp này là ednhận các lệnh của nó thông qua đầu vào tiêu chuẩn, không phải là đối số dòng lệnh như excó thể. Khi sử dụng nó trong một tập lệnh, cách thông thường để thực hiện điều này là sử dụng printfđể ra lệnh cho nó:

printf "%s\n" "g/pattern/d" w | ed -s filename

hoặc với một di sản:

ed -s filename <<EOF
g/pattern/d
w
EOF