Làm cách nào tôi có thể xóa BOM khỏi tệp UTF-8?

Tôi có một tệp ở dạng mã hóa UTF-8 với BOM và muốn xóa BOM. Có công cụ dòng lệnh linux nào để loại bỏ BOM khỏi tệp không?

$ file test.xml
test.xml:  XML 1.0 document, UTF-8 Unicode (with BOM) text, with very long lines

Nếu bạn không chắc liệu tệp có chứa BOM UTF-8 hay không, thì điều này (giả sử việc triển khai GNU sed) sẽ xóa BOM nếu nó tồn tại hoặc không thay đổi nếu không.

sed '1s/^\xEF\xBB\xBF//' < orig.txt > new.txt

Bạn cũng có thể ghi đè lên tệp hiện có với -itùy chọn:

sed -i '1s/^\xEF\xBB\xBF//' orig.txt

Một BOM không có ý nghĩa trong UTF-8. Chúng thường được thêm vào do nhầm lẫn bởi phần mềm không có thật trên hệ điều hành Microsoft.

dos2unix sẽ loại bỏ nó và cũng sẽ xử lý các đặc điểm riêng khác của các tệp văn bản Windows.

dos2unix test.xml

Có thể xóa BOM khỏi một tệp bằng taillệnh:

tail -c +4 withBOM.txt > withoutBOM.txt

Sử dụng VIM

1. Mở tệp trong VIM:

   vi text.xml
   

2. Xóa mã hóa BOM:

   :set nobomb
   

3. Lưu và thoát:

   :wq
   

Bạn có thể dùng

LANG=C LC_ALL=C sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- filename

để loại bỏ dấu thứ tự byte khỏi phần đầu của tệp, nếu nó có bất kỳ, cũng như chuyển đổi bất kỳ dòng mới CR LF nào thành LF. Nó báo LANG=C LC_ALL=Ccho shell mà bạn muốn lệnh chạy trong miền địa phương C mặc định (còn được gọi là miền địa phương POSIX mặc định), trong đó ba byte tạo thành Dấu thứ tự Byte được coi là byte. Các -itùy chọn để sed nghĩa tại chỗ. Nếu bạn sử dụng -i.old, thì sed sẽ lưu tệp gốc dưới dạng filename.oldvà tệp mới (với các sửa đổi, nếu có) như filename.

Cá nhân tôi thích có cái này như ~/bin/fix-ms; ví dụ như

#!/bin/dash
export LANG=C LC_ALL=C
if [ $# -gt 0 ]; then
    for FILE in "$@" ; do
        sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- "$FILE" || exit 1
    done
else
    exec sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//'
fi

để nếu tôi cần áp dụng điều này để nói tất cả các tệp và tiêu đề nguồn C (ví dụ mã cũ của tôi từ thời MS-DOS!), tôi chỉ cần chạy

find . -name '*.[CHch]' -print0 | xargs -r0 ~/bin/ms-fix

hoặc, nếu tôi chỉ muốn xem một tệp như vậy, mà không sửa đổi nó, tôi có thể chạy

~/bin/ms-fix < filename | less

và không thấy xấu xí <U+FEFF>trong thiết bị đầu cuối UTF-8 của tôi.

Gần đây tôi đã tìm thấy công cụ dòng lệnh nhỏ này có thêm hoặc xóa BOM trên các tệp được mã hóa UTF-8 tùy ý: UTF BOM Utils ( liên kết mới tại github)

Hạn chế nhỏ, bạn chỉ có thể tải xuống mã nguồn C ++ đơn giản. Bạn phải tạo tệp tạo tệp ( ví dụ với CMake ) và tự biên dịch nó, các tệp nhị phân không được cung cấp trên trang này.