Chỉ giữ lại các dòng chứa số lượng dấu phân cách chính xác

Tôi có một tệp csv khổng lồ với 10 trường được phân tách bằng dấu phẩy. Thật không may, một số dòng không đúng định dạng và không chứa chính xác 10 dấu phẩy (điều này gây ra một số vấn đề khi tôi muốn đọc tệp vào R). Làm cách nào tôi chỉ có thể lọc ra các dòng chứa chính xác 10 dấu phẩy?

Một POSIX khác:

awk -F , 'NF == 11' <file

Nếu dòng có 10 dấu phẩy thì sẽ có 11 trường trong dòng này. Vì vậy, chúng tôi chỉ đơn giản là awksử dụng ,như là dấu phân cách trường. Nếu số lượng trường là 11, điều kiện NF == 11là đúng, awksau đó thực hiện hành động mặc định print $0.

Sử dụng egrep(hoặc grep -Etrong POSIX):

egrep "^([^,]*,){10}[^,]*$" file.csv

Điều này lọc ra bất cứ thứ gì không chứa 10 dấu phẩy: nó khớp với các dòng đầy đủ ( ^ở đầu và $cuối), chứa chính xác mười lần lặp lại ( {10}) của chuỗi "bất kỳ số lượng ký tự nào ngoại trừ ',', theo sau là một ','" ( ([^,]*,)), tiếp theo là bất kỳ số lượng ký tự nào ngoại trừ ',' ( [^,]*).

Bạn cũng có thể sử dụng -xtham số để thả neo:

grep -xE "([^,]*,){10}[^,]*" file.csv

Điều này ít hiệu quả hơn giải pháp của cuonglmawk ; cái sau thường nhanh hơn sáu lần trên hệ thống của tôi đối với các dòng có khoảng 10 dấu phẩy. Dòng dài hơn sẽ gây ra sự chậm lại lớn.

grepMã đơn giản nhất sẽ hoạt động:

grep -xE '([^,]*,){10}[^,]*'

Giải trình:

-xđảm bảo rằng mẫu phải phù hợp với toàn bộ dòng, thay vì chỉ là một phần của nó. Điều này rất quan trọng để bạn không khớp các dòng có hơn 10 dấu phẩy.

-E có nghĩa là "regex mở rộng", giúp thoát khỏi dấu gạch chéo ngược trong regex của bạn.

Dấu ngoặc đơn được sử dụng để nhóm và {10}sau đó có nghĩa là phải có chính xác mười kết quả khớp trong một hàng của mẫu trong các dấu ngoặc.

[^,]là một lớp nhân vật, ví dụ, [c-f]sẽ khớp với bất kỳ ký tự đơn nào là a c, a d, an ehoặc an fvà [^A-Z]sẽ khớp với bất kỳ ký tự đơn nào KHÔNG phải là chữ cái viết hoa. Vì vậy, [^,]phù hợp với bất kỳ nhân vật duy nhất ngoại trừ một dấu phẩy.

Lớp *sau ký tự có nghĩa là "không hoặc nhiều trong số này."

Vì vậy, phần regex ([^,]*,)có nghĩa là "Bất kỳ ký tự nào ngoại trừ dấu phẩy bất kỳ số lần (bao gồm 0 lần), theo sau là dấu phẩy" và {10}chỉ định 10 trong số này. Sau đó, [^,]*để phù hợp với phần còn lại của các ký tự không dấu phẩy cho đến cuối dòng.

sed -ne's/,//11;t' -e's/,/&/10p' <in >out

Đầu tiên, phân nhánh bất kỳ dòng nào có từ 11 dấu phẩy trở lên, sau đó in ra những gì còn lại chỉ phù hợp với 10 dấu phẩy.

Rõ ràng tôi đã trả lời điều này trước đây ... Đây là một vụ đạo văn từ một câu hỏi tìm kiếm chính xác 4 lần xuất hiện của một số mô hình:

Bạn có thể nhắm mục tiêu [num]sự xuất hiện của một mẫu bằng s///lệnh sed ubstlation bằng cách chỉ cần thêm [num]lệnh. Khi bạn tthay thế thành công và không chỉ định :nhãn đích , test sẽ tách ra khỏi tập lệnh. Điều này có nghĩa là tất cả những gì bạn phải làm là kiểm tra s///5hoặc thêm dấu phẩy, sau đó in những gì còn lại.

Hoặc, ít nhất, xử lý các dòng vượt quá mức tối đa của bạn là 4. Rõ ràng bạn cũng có một yêu cầu tối thiểu. May mắn thay, điều đó chỉ đơn giản như sau:

sed -ne 's|,||5;t' -e 's||,|4p'

... chỉ cần thay thế lần xuất hiện thứ 4 của ,một dòng bằng chính nó và giải quyết vấn đề của bạn pvới các s///cờ ubstlation. Bởi vì bất kỳ dòng nào khớp từ ,5 lần trở lên đã được cắt tỉa, các dòng chứa 4 ,kết quả chỉ chứa 4.

Ném một số ngắn python:

#!/usr/bin/env python2
with open('file.csv') as f:
    print '\n'.join(line for line in f if line.count(',') == 10)

Điều này sẽ đọc từng dòng và kiểm tra xem số dấu phẩy trong dòng có bằng 10 không line.count(',') == 10, nếu có thì nó sẽ in dòng đó.

Và đây là một cách Perl:

perl -F, -ane 'print if $#F==10'

Các -nnguyên nhân perlđể đọc dòng tệp đầu vào của nó theo dòng và thực thi tập lệnh được cung cấp bởi -etrên mỗi dòng. Các -alượt bật tự động tách: mỗi dòng đầu vào sẽ được phân chia trên giá trị được cho bởi -F(ở đây, dấu phẩy) và được lưu dưới dạng mảng @F.

Các $#F(hay tổng quát hơn $#array), là chỉ số cao nhất của mảng @F. Kể từ mảng bắt đầu từ 0, một dòng với 11 lĩnh vực sẽ có @Fcủa 10. Tập lệnh, do đó, in dòng nếu nó có chính xác 11 trường.

Nếu các trường có thể chứa dấu phẩy hoặc dòng mới, mã của bạn cần hiểu csv. Ví dụ (có ba cột):

$ cat filter.csv
a,b,c
d,"e,f",g
1,2,3,4
one,two,"three
...continued"

$ cat filter.csv | python3 -c 'import sys, csv
> csv.writer(sys.stdout).writerows(
> row for row in csv.reader(sys.stdin) if len(row) == 3)
> '
a,b,c
d,"e,f",g
one,two,"three
...continued"

Tôi cho rằng hầu hết các giải pháp cho đến nay sẽ loại bỏ hàng thứ hai và thứ tư.