Chuyển đổi tệp UTF-8 sang ASCII (nỗ lực cao nhất)

Tôi có một tệp trong UTF-8 chứa các văn bản bằng nhiều ngôn ngữ. Rất nhiều trong số đó là tên của mọi người. Tôi cần chuyển đổi nó sang ASCII và tôi cần kết quả để có vẻ tốt nhất có thể.

Có nhiều cách để tiếp cận chuyển đổi từ mã hóa rộng hơn sang hẹp hơn. Việc chuyển đổi đơn giản nhất sẽ là thay thế tất cả các ký tự không phải ASCII bằng một số trình giữ chỗ, như '_'. Nếu tôi biết ngôn ngữ mà tập tin được viết, có những khả năng bổ sung, như tiếng La-tinh.

Công cụ Unix hoặc thư viện ngôn ngữ lập trình nào có sẵn trên Unix có thể mang lại cho tôi một sự chuyển đổi (nỗ lực tốt nhất) từ UTF-8 sang ASCII?

Hầu hết các văn bản là ở châu Âu, ngôn ngữ dựa trên tiếng Latin.

konwert utf8-ascii

Nó sẽ thực hiện chuyển đổi nỗ lực tốt nhất, tùy thuộc vào các bảng chuyển đổi. Nếu bạn biết khoảng ngôn ngữ nhập, có các bộ lọc ngôn ngữ cụ thể cho kết quả tốt hơn, ví dụ:

konwert utf8-xmetodo

là sự chuyển đổi Esperanto thành đại diện x-metodo,

konwert UTF8-tex

sẽ cố gắng thực hiện biểu diễn TeX của dấu phụ, có các tham số cụ thể của ngôn ngữ:

konwert UTF8-ascii/de

sẽ phiên âm "ä" thành "ae" (theo thông lệ của tiếng Đức) thay vì đơn giản là "a"

konwert UTF8-ascii/rosyjski

sẽ sử dụng các quy tắc tiếng Ba Lan để phiên âm tiếng Nga, thay vì các quy tắc "giống như tiếng Anh", v.v ...

Điều này sẽ làm việc cho một số điều:

iconv -f utf-8 -t ascii//TRANSLIT

echo ĥéĺłœ π | iconv -f utf-8 -t ascii//TRANSLITtrả lại helloe ?. Bất kỳ nhân vật nàoiconv nào không biết cách chuyển đổi sẽ được thay thế bằng dấu hỏi.

iconvlà POSIX, nhưng tôi không biết liệu tất cả các hệ thống có TRANSLITtùy chọn không. Nó hoạt động với tôi trên Linux. Ngoài ra, IGNOREtùy chọn sẽ âm thầm loại bỏ các ký tự không thể được biểu diễn trong bộ ký tự đích (xem man iconv_open).

Một tùy chọn kém hơn nhưng tuân thủ POSIX là sử dụng tr. Lệnh này thay thế tất cả các điểm mã không phải ASCII bằng dấu chấm hỏi. Nó đọc văn bản UTF-8 một byte mỗi lần. Có thể thay thế bằng É É Tùy, E?hoặc ?tùy thuộc vào việc nó được mã hóa bằng cách sử dụng dấu kết hợp hoặc ký tự được phân tách trước.

echo café äëïöü | tr -d '\200-\277' | tr '\300-\377' '[?*]'

Ví dụ đó trả về caf? ?????, sử dụng các ký tự được phân tách trước.

thử uni2ascii -B input.txt >output.txt

uni2ascii

Tôi có một tệp trong UTF-8 chứa [tên người] bằng nhiều ngôn ngữ [mà tôi muốn chuyển đổi thành thứ gì đó có ý nghĩa trong ASCII].

Bạn có nghĩa là bạn muốn có thể chuyển đổi các tên sau đây thành một chuỗi ASCII mà người liên quan sẽ không phản đối?

• ராமானுஜன் ஐயங்கார்
• عبد الله الاني بن السين

Tôi nghi ngờ không có công cụ tự động có thể làm điều này. Có thể không có hoặc có rất nhiều chữ Latin hóa tên cá nhân. Phần mềm không thể chọn phiên bản văn hóa chấp nhận được. Ít nhất không phải không có phần mềm biết rất nhiều về văn hóa của người liên quan.

Xem thêm /programming//a/1398403/477035

Tôi đã kết thúc bằng cách sử dụng Perl với Text :: Unidecode cho việc này. Thí dụ:

perl -e 'use utf8; use Text::Unidecode; print unidecode("عبد الله الثاني بسين")

sản xuất bd llh lthny bn lHsyn, đó là kết quả chấp nhận được cho mục đích của tôi.