Có một sự thay thế cho sed hỗ trợ unicode?

Ví dụ:

sed 's/\u0091//g' file1

Ngay bây giờ, tôi phải làm hexdumpđể có được số hex và đưa vào sednhư sau:

$ echo -ne '\u9991' | hexdump -C
00000000  e9 a6 91                                          |...|
00000003

Và sau đó:

$ sed 's/\xe9\xa6\x91//g' file1

Chỉ cần sử dụng cú pháp đó:

sed 's/馑//g' file1

Hoặc ở dạng thoát:

sed "s/$(echo -ne '\u9991')//g" file1

(Lưu ý rằng các phiên bản cũ hơn của Bash và một số shell không hiểu echo -e '\u9991', vì vậy hãy kiểm tra trước.)

Perl có thể làm điều đó:

echo 汉典“馑”字的基本解释 | perl -CS -pe 's/\N{U+9991}/Jin/g'

-CS bật UTF-8 cho đầu vào, đầu ra và lỗi tiêu chuẩn.

Một số phiên bản sedhỗ trợ Unicode :

• Gia truyền sed , dựa trên "tài liệu Unix gốc".
• GNU sed , đó là cơ sở mã riêng của nó.
• Plan 9 sed , đã được chuyển sang các hệ điều hành giống Unix.

Tôi không thể tìm thấy thông tin về BSD sed, điều mà tôi nghĩ là lạ, nhưng tôi nghĩ rằng tỷ lệ cược là tốt vì nó cũng hỗ trợ Unicode. Thật không may, không có cách tiêu chuẩn nào để nói sedmã hóa nào sẽ được sử dụng, vì vậy mỗi người thực hiện việc này theo cách riêng của mình.

Điều này làm việc cho tôi:

$ vim -nEs +'%s/\%u9991//g' +wq file1

Đó là một giọt dài hơn so với tôi muốn; đây là một lời giải thích đầy đủ:

• -n vô hiệu hóa tập tin hoán đổi vim
• -E Chế độ cải tiến cũ
• -s chế độ im lặng
• +'%s/\%u9991//g' thực hiện lệnh thay thế
• +wq lưu và thoát

Với các phiên bản gần đây của BASH, chỉ cần bỏ qua các trích dẫn xung quanh biểu thức sed và bạn có thể sử dụng các chuỗi thoát của BASH. Các không gian trong biểu thức sed hoặc các phần của biểu thức sed có thể được BASH diễn giải vì các ký tự đại diện có thể được trích dẫn riêng.

$ echo "饥馑荐臻" | sed s/$'\u9991'//g
饥荐臻

Hoạt động với tôi với GNU sed (phiên bản 4.2.1):

$ echo -ne $'\u9991' | sed 's/\xe9\xa6\x91//g' | hexdump -C
$ echo -ne $'\u9991' | hexdump -C
00000000  e9 a6 91

(Là một sự thay thế khác cho sedbạn cũng có thể sử dụng GNU awk; nhưng có vẻ như không cần thiết.)