Xóa dấu phẩy giữa các dấu ngoặc kép trong tệp được phân cách bằng dấu phẩy

Tôi có một tệp đầu vào được phân tách bằng dấu phẩy ( ,). Có một số trường được đặt trong dấu ngoặc kép có dấu phẩy trong đó. Đây là hàng mẫu

123,"ABC, DEV 23",345,534.202,NAME

Tôi cần phải xóa tất cả dấu phẩy xảy ra bên trong dấu ngoặc kép và dấu ngoặc kép là tốt. Vì vậy, dòng trên nên được phân tích cú pháp như dưới đây

123,ABC DEV 23,345,534.202,NAME

Tôi đã thử cách sử dụng sau đây sednhưng không cho kết quả như mong đợi.

sed -e 's/\(".*\),\(".*\)/\1 \2/g'

Bất kỳ thủ thuật nhanh chóng với sed, awkhoặc bất kỳ tiện ích unix khác xin vui lòng?

Nếu các trích dẫn được cân bằng, bạn sẽ muốn xóa dấu phẩy giữa mỗi trích dẫn khác, điều này có thể được thể hiện awknhư sau:

awk -F'"' -v OFS='' '{ for (i=2; i<=NF; i+=2) gsub(",", "", $i) } 1' infile

Đầu ra:

123,ABC DEV 23,345,534.202,NAME

Giải trình

Việc -F"làm cho awk tách dòng tại các dấu ngoặc kép, có nghĩa là mọi lĩnh vực khác sẽ là văn bản trích dẫn. Vòng lặp for chạy gsub, viết tắt của thay thế toàn cầu, trên mọi trường khác, thay thế dấu phẩy ( ",") bằng không có gì ( ""). Các 1cuối cùng gọi mặc định mã khối: { print $0 }.

Có một phản hồi tốt , sử dụng sed chỉ đơn giản là một lần với một vòng lặp :

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME'|
  sed ':a;s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 /;ta'
123,"ABC  DEV 23",345,534,"some more  comma-separated  words",202,NAME

Giải trình:

• :a; là một nhãn cho chi nhánh
• s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 / có thể chứa 3 phần kèm theo
  • đầu tiên là lần 2: [^"]*,\?\|"[^",]*",\?khớp với một chuỗi không có trích dẫn kép, có thể theo sau là hôn mê hoặc chuỗi được bao quanh bởi hai trích dẫn kép, không hôn mê và có thể theo sau là hôn mê.
  • hơn phần RE đầu tiên được sáng tác bởi nhiều lần lặp lại của phần 2 được mô tả trước đó, tiếp theo là 1 trích dẫn kép và một số caracteres, nhưng không có trích dẫn kép, cũng không hôn mê.
  • Phần RE đầu tiên được theo sau là hôn mê.
  • Đáng chú ý, phần còn lại của dòng không cần phải được chạm vào
• tasẽ lặp lại :anếu s/lệnh trước đó đã thực hiện một số thay đổi.

Một giải pháp chung cũng có thể xử lý một số dấu phẩy giữa các trích dẫn cân bằng cần một sự thay thế lồng nhau. Tôi triển khai một giải pháp trong perl, xử lý mọi dòng của một đầu vào nhất định và chỉ thay thế dấu phẩy trong mỗi cặp dấu ngoặc kép khác:

perl -pe 's/ "  (.+?  [^\\])  "               # find all non escaped 
                                              # quoting pairs
                                              # in a non-greedy way

           / ($ret = $1) =~ (s#,##g);         # remove all commas within quotes
             $ret                             # substitute the substitution :)
           /gex'

hoặc trong ngắn hạn

perl -pe 's/"(.+?[^\\])"/($ret = $1) =~ (s#,##g); $ret/ge'

Bạn có thể dẫn văn bản bạn muốn xử lý vào lệnh hoặc chỉ định tệp văn bản sẽ được xử lý làm đối số dòng lệnh cuối cùng.

Tôi sẽ sử dụng ngôn ngữ với trình phân tích cú pháp CSV thích hợp. Ví dụ:

ruby -r csv -ne '
  CSV.parse($_) do |row|
    newrow = CSV::Row.new [], []
    row.each {|field| newrow << field.delete(",")}
    puts newrow.to_csv
  end
' < input_file

Trích dẫn thứ hai của bạn bị đặt sai chỗ:

sed -e 's/\(".*\),\(.*"\)/\1 \2/g'

Ngoài ra, sử dụng các biểu thức thông thường có xu hướng khớp với phần dài nhất có thể của văn bản, có nghĩa là điều này sẽ không hoạt động nếu bạn có nhiều hơn một trường được trích dẫn trong chuỗi.

Một cách xử lý nhiều trường được trích dẫn trong sed

sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

Tuy nhiên, đây cũng là một cách để giải quyết vấn đề này, với đầu vào có thể chứa nhiều dấu phẩy trên mỗi trường được trích dẫn, biểu thức đầu tiên trong sed sẽ phải được lặp lại nhiều lần so với nội dung dấu phẩy tối đa trong một trường hoặc cho đến khi không thay đổi đầu ra.

Chạy sed với nhiều hơn một biểu thức sẽ hiệu quả hơn so với một số quy trình sed đang chạy và một "tr" tất cả chạy với các ống mở.

Tuy nhiên, điều này có thể có hậu quả không mong muốn nếu đầu vào không được định dạng đúng. tức là dấu ngoặc kép, dấu ngoặc kép.

Sử dụng ví dụ đang chạy:

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME' \
| sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' \
-e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

Đầu ra:

123,ABC  DEV 23,345,534,some more  comma-separated  words,202,NAME

Trong perl - bạn có thể sử dụng Text::CSVđể phân tích cú pháp này và thực hiện nó một cách tầm thường:

#!/usr/bin/env perl
use strict;
use warnings;

use Text::CSV; 

my $csv = Text::CSV -> new();

while ( my $row = $csv -> getline ( \*STDIN ) ) {
    #remove commas in each field in the row
    $_ =~ s/,//g for @$row;
    #print it - use print and join, rather than csv output because quotes. 
    print join ( ",", @$row ),"\n";
}

Bạn có thể in với Text::CSVnhưng nó có xu hướng giữ nguyên dấu ngoặc kép nếu bạn làm như vậy. (Mặc dù, tôi đề nghị - thay vì tước trích dẫn cho đầu ra của bạn, bạn chỉ có thể phân tích cú pháp bằng cách sử dụng Text::CSVở vị trí đầu tiên).

Tôi đã tạo một hàm để lặp thông qua mọi ký tự trong chuỗi.
Nếu ký tự là một trích dẫn thì kiểm tra (b_in_qt) được đánh dấu là đúng.
Trong khi b_in_qt là đúng, tất cả dấu phẩy được thay thế bằng dấu cách.
b_in_qt được đặt thành false khi tìm thấy dấu phẩy tiếp theo.

FUNCTION f_replace_c (str_in  VARCHAR2) RETURN VARCHAR2 IS
str_out     varchar2(1000)  := null;
str_chr     varchar2(1)     := null;
b_in_qt     boolean         := false;

BEGIN
    FOR x IN 1..length(str_in) LOOP
      str_chr := substr(str_in,x,1);
      IF str_chr = '"' THEN
        if b_in_qt then
            b_in_qt := false;
        else
            b_in_qt := true;
        end if;
      END IF;
      IF b_in_qt THEN
        if str_chr = ',' then
            str_chr := ' ';
        end if;
      END IF;
    str_out := str_out || str_chr;
    END LOOP;
RETURN str_out;
END;

str_in := f_replace_c ("blue","cat,dog,horse","",yellow,"green")

RESULTS
  "blue","cat dog horse","",yellow,"green"