Cách tốt để lọc một tệp văn bản để loại bỏ các dòng trống?

Tôi có tệp .csv (trên máy mac) có một loạt các dòng trống, ví dụ:

"1", "2", "lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum 

lorem ipsum ","2","3","4"
"1", "2", "lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum 

lorem ipsum ","2","3","4"

Mà tôi muốn chuyển đổi thành:

"1", "2", "lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum ","2","3","4"
"1", "2", "lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum  lorem ipsum ","2","3","4"

Tôi biết phải có một lớp lót nhưng tôi không biết awk hay sed. Bất kỳ lời khuyên đánh giá rất cao!

Bạn có thể sử dụng -vchế độ (đảo ngược) của grep để làm điều này:

grep -v '^$' old-file.csv > new-file.csv

Lưu ý rằng những tệp đó cần phải là các tệp khác nhau, do cách chuyển hướng shell hoạt động. Tệp đầu ra được mở (và làm trống) trước khi tệp đầu vào được đọc. Nếu bạn có nhiều hơn (không phải mặc định trên Mac OS X), bạn có thể sử dụng spongeđể khắc phục điều này:

grep -v '^$' file.csv | sponge file.csv

Nhưng tất nhiên, sau đó bạn có một thời gian khó khăn hơn để trở lại nếu có sự cố.

Nếu bạn "dòng trống" thực sự có thể chứa khoảng trắng (có vẻ như chúng làm), thì bạn có thể sử dụng thay thế này:

egrep -v '^[[:space:]]*$' old-file.csv > new-file.csv

Điều đó sẽ bỏ qua các dòng trống cũng như các dòng chỉ chứa khoảng trắng. Tất nhiên bạn có thể thực hiện spongechuyển đổi tương tự trên nó.

Tùy chọn dễ nhất là chỉ grep .. Ở đây, dấu chấm có nghĩa là "khớp bất cứ thứ gì", vì vậy nếu dòng trống, nó không khớp. Mặt khác, nó in toàn bộ dòng.

Để xóa các dòng trống, tại chỗ , với ksh93:

sed '/./!d' file 1<>; file

Các <>;nhà điều hành chuyển hướng là cụ thể cho ksh93 và cũng giống như các tiêu chuẩn <>điều hành ngoại trừ việc sẽ cắt cụt ksh tập tin sau khi lệnh đã chấm dứt.

sed '/./!d'là một cách viết phức tạp grep ., nhưng không may là GNU grep ít nhất phàn nàn nếu thiết bị xuất chuẩn của nó trỏ đến cùng một tệp với stdin của nó. Bạn muốn nói người ta có thể viết:

grep . file | cat 1<>; file

Nhưng thật không may, có một lỗi trong ksh93 (ít nhất là phiên bản của tôi (93u +)), trong đó tệp dường như bị cắt ngắn đến độ dài bằng không trong trường hợp đó.

grep . file | { cat; } 1<>; file

Có vẻ như đã khắc phục được lỗi đó, nhưng bây giờ, nó phức tạp hơn nhiều so với lệnh sed.

Đây là một Perllớp lót cho nó:

perl -pi -e 's/^\s*\n//' yourfile

EDIT: Cải thiện mã dựa trên ý kiến ​​của ruakh bên dưới.

Dựa trên sự làm rõ trong các bình luận cho câu hỏi của bạn, đại loại như:

awk -v RS= -v ORS= 1

có thể làm những gì bạn muốn

Dấu tách bản ghi trống là trường hợp đặc biệt cho biết awkcác bản ghi phải là các đoạn văn (được phân tách bằng các chuỗi dòng trống). Đặt dấu tách bản ghi đầu ra thành chuỗi trống cũng có nghĩa là nội dung của các đoạn đó (không có dấu phân cách) sẽ được nối. 1chỉ là một điều kiện thực sự để in mọi hồ sơ.

Tuy nhiên, điều đó sẽ bỏ qua dòng mới, vì vậy bạn có thể làm:

awk -v RS= -v ORS= '1;END{if (NR) printf "\n"}'

Tôi biết việc này sẽ dễ dàng hơn nếu tôi đưa tập tin, nhưng thật không may, nó chứa thông tin bí mật mà tôi không thể chia sẻ. Trong khi đó, tôi đã viết cho tôi một kịch bản ruby ​​dường như thực hiện mánh khóe:

require 'csv'
c = CSV.open("outfile1.csv", "w")
CSV.foreach("data.csv", :encoding => 'windows-1251:utf-8') do |row|
  row = row.map { |a| a.class == String ? a.gsub(/\r/, '') : a}
  c << row
end
c.close

Cảm ơn mọi người đã giúp đỡ!

awk '
    length == 0 {next} 
    /^[^"]/ && /"$/ {print; next} 
    {printf("%s", $0)}
' filename

sản xuất

"1", "2", "lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum ","2","3","4"
"1", "2", "lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum ","2","3","4"

Tôi tìm thấy một ý tưởng cho một giải pháp khả thi trên stackoverflow .

sed -i ':a;N;$!ba;s/[^"]\n\s*\n/ /g' file.csv

Bạn có thể nên sao lưu tệp csv của mình trước khi kiểm tra nó, nhưng ít nhất là ví dụ bạn cung cấp nó hoạt động hoàn hảo.

Một lời giải thích tốt về hoạt động bên trong của biểu thức này được đưa ra ở câu trả lời, tôi chỉ chỉnh sửa nó để tìm các dòng không kết thúc bằng dấu "( [^"]\n).

Nếu, từ phản hồi của riêng bạn, bạn muốn xóa các ký tự dòng mới có trong các chuỗi được trích dẫn, bạn có thể làm:

 perl -0777 -pe 's/".*?"/$_=$&;s:\n::g;$_/gse'

Bạn cũng có thể sử dụng -icờ của perl để chỉnh sửa các tệp tại chỗ .

 perl -0777 -pe 's/".*?"/$_=$&;s:\n::g;$_/gse' file1 file2...

Hoặc với GNU awk:

 awk -v RS=\" 'NR%2==0 {gsub("\n","")}; {printf "%s", $0 RT}'

hoặc là:

 awk -vRS=\" '1-NR%2{gsub("\n","")}{ORS=RT}1'

(nếu bạn đang thi đấu ngắn nhất)

Lưu ý rằng những người cho rằng không có ký tự trích dẫn kép thoát trong đầu vào.

Có vẻ như bạn muốn nhiều hơn là xóa các dòng trống, nhưng loại bỏ mọi chuỗi gồm 2 hoặc nhiều ký tự dòng mới.

Những gì bạn có thể làm với perl:

perl -0777 -pe 's/\n{2,}//gs' file

Bạn cũng có thể sử dụng -icờ của perl để chỉnh sửa các tệp tại chỗ .

perl -0777 -pi -e 's/\n{2,}//gs' file1 file2...

Có một cách ngắn hơn để loại bỏ các dòng trống trong AWK:

awk 'NF' file

Nhưng để có được đầu ra mà bạn muốn, tất cả những gì cần thiết là một lớp lót đơn giản:

awk 'NF {printf("%s ", $0); i++;} !(i % 2) {printf("\n");}' file

Giải trình

Trong AWK, một dòng trống có nghĩa là hàng / bản ghi không có trường, nghĩa là biến NF(Số lượng trường) bằng không. Một lớp lót ở trên sẽ chỉ thực hiện khi NF > 0, in tất cả các dòng, nhưng các dòng trống.

Đây i++là bộ đếm dòng không trống.

Chúng !(i % 2)được sử dụng để in hai dòng không trống liên tiếp theo cách đầu ra mong muốn của bạn, nghĩa là, mỗi khi tìm thấy bội số của 2, modulocâu lệnh !(i % 2)sẽ tạo ra 1, kết thúc nối hai dòng không trống.

Bạn có thể sử dụng Vim trong chế độ Ex:

ex -sc v/./d -cx b.csv

1. v/./ tìm dòng trống

2. d xóa bỏ

3. x lưu và đóng