Ký tự <0xEF, 0xBB, 0xBF> hiển thị trong tệp. Làm thế nào để loại bỏ chúng?

Tôi đang nén các tệp JavaScript và máy nén phàn nàn rằng các tệp của tôi có ký tự trong đó.

Làm cách nào tôi có thể tìm kiếm những ký tự này và xóa chúng?

perl -pi~ -CSD -e 's/^\x{fffe}//' file1.js path/to/file2.js

Tôi cho rằng công cụ sẽ bị hỏng nếu bạn có utf-8 khác trong tệp của mình, nhưng nếu không, có lẽ giải pháp này có thể giúp bạn. (Chưa được kiểm tra ...)

Chỉnh sửa : đã thêm -CSDtùy chọn, theo nhận xét của tchrist.

Bạn có thể dễ dàng loại bỏ chúng bằng vim , sau đây là các bước:

1) Trong thiết bị đầu cuối của bạn, mở tệp bằng vim:

vim file_name

2) Xóa tất cả các ký tự BOM :

:set nobomb

3) Lưu tệp:

:wq

Một phương pháp khác để xóa các ký tự đó - sử dụng Vim :

vim -b fileName

Bây giờ các ký tự "ẩn" đó hiển thị ( <feff>) và có thể bị xóa.

Cảm ơn vì những câu trả lời trước, đây là một biến thể sed (1) chỉ trong trường hợp:

sed '1s/^\xEF\xBB\xBF//'

Trên Unix / Linux:

sed 's/\xEF\xBB\xBF//' < inputfile > outputfile

Trên MacOSX

sed $'s/\xEF\xBB\xBF//' < inputfile > outputfile

Lưu ý $ sau sed cho mac.

Trên Windows

Có Super Sed một phiên bản nâng cao của sed. Đối với Windows, đây là một .exe độc ​​lập, dành để chạy từ dòng lệnh.

Sử dụng đuôi có thể dễ dàng hơn:

tail --bytes=+4 filename > new_filename

Giải pháp của @ tripleee không phù hợp với tôi. Nhưng thay đổi mã hóa tệp thành ASCII và một lần nữa thành UTF-8 đã thực hiện thủ thuật :-)

Tôi đã sử dụng vimgrep cho việc này

:vim "[\uFEFF]" *

cũng là lệnh tìm kiếm vim bình thường

/[\uFEFF]

Lệnh 'tệp' hiển thị nếu BOM có mặt:

Ví dụ: 'file myfile.xml' hiển thị: "Tài liệu XML 1.0, văn bản UTF-8 Unicode (với BOM), với các dòng rất dài, có dấu cuối dòng CRLF"

dos2unix sẽ xóa BOM.

Trong windows, bạn có thể sử dụng tiện ích mã hóa ngược từ UnxUtils .

Trong Sublime Text, bạn có thể cài đặt gói Highlighter và sau đó tùy chỉnh cụm từ thông dụng trong cài đặt người dùng của mình.

Ở đây tôi đã thêm vào \uFEFFcuối highlighter_regextài sản.

{
    "highlighter_enabled": true,
    "highlighter_regex": "(\t+ +)|( +\t+)|[\u2026\u2018\u2019\u201c\u201d\u2013\u2014\uFEFF]|[\t ]+$",
    "highlighter_scope_name": "invalid",
    "highlighter_max_file_size": 1048576,
    "highlighter_delay": 3000
}

Để ghi đè cài đặt gói mặc định, hãy đặt tệp ở đây:

~ / .config / sublime-text-3 / Packages / User / highlighter.sublime-settings

Tôi khuyên bạn nên sử dụng công cụ "dos2unix", vui lòng kiểm tra để chạy dos2unix ./thefile.js.

Nếu cần, hãy thử sử dụng một cái gì đó như thế này cho nhiều tệp:

for x in $(find . -type f -exec echo {} +); do dos2unix $x ; done

Trân trọng.

Lưu tệp mà không có chữ ký mã.