Làm thế nào tôi có thể xác định một nhân vật lạ?

Tôi đang cố gắng xác định một ký tự lạ mà tôi đã tìm thấy trong một tệp tôi đang làm việc với:

$ cat file
�
$ od file
0000000 005353
0000002
$ od -c file
0000000 353  \n
0000002
$ od -x file
0000000 0aeb
0000002

Tệp đang sử dụng mã hóa ISO-8859 và không thể chuyển đổi thành UTF-8:

$ iconv -f ISO-8859 -t UTF-8 file
iconv: conversion from `ISO-8859' is not supported
Try `iconv --help' or `iconv --usage' for more information.
$ iconv  -t UTF-8 file
iconv: illegal input sequence at position 0
$ file file
file: ISO-8859 text

Câu hỏi chính của tôi là làm thế nào tôi có thể giải thích đầu ra của odđây? Tôi đang cố gắng sử dụng trang này cho phép tôi dịch giữa các cách biểu thị ký tự khác nhau, nhưng nó cho tôi biết rằng 005353với tư cách là "điểm mã Hex" 卓có vẻ không đúng và 0aebnhư "điểm mã Hex" ૫, một lần nữa, có vẻ sai .

Vì vậy, làm thế nào tôi có thể sử dụng bất kỳ trong ba lựa chọn ( 355, 005353hoặc 0aeb) để tìm ra những nhân vật mà họ có nghĩa vụ phải đại diện?

Và vâng, tôi đã thử với các công cụ Unicode nhưng dường như đó cũng không phải là một ký tự UTF hợp lệ:

$ uniprops $(cat file)
U+FFFD ‹�› \N{REPLACEMENT CHARACTER}
    \pS \p{So}
    All Any Assigned Common Zyyy So S Gr_Base Grapheme_Base Graph X_POSIX_Graph
       GrBase Other_Symbol Print X_POSIX_Print Symbol Specials Unicode

nếu tôi hiểu mô tả về ký tự Unicode U + FFFD, thì đó hoàn toàn không phải là một ký tự mà là một trình giữ chỗ cho một ký tự bị hỏng. Điều này có ý nghĩa vì tệp không thực sự được mã hóa UTF-8.

Tệp của bạn chứa hai byte, EB và 0A ở dạng hex. Có khả năng tệp đang sử dụng một bộ ký tự có một byte cho mỗi ký tự, chẳng hạn như ISO-8859-1 ; trong bộ ký tự đó, EB là ë:

$ printf "\353\n" | iconv -f ISO-8859-1
ë

Các ứng cử viên khác sẽ là δ trong mã trang 437 , Ù trong mã trang 850 ...

od -xĐầu ra là khó hiểu trong trường hợp này vì tính cuối cùng; một tùy chọn tốt hơn là -t x1sử dụng các byte đơn:

$ printf "\353\n" | od -t x1
0000000 eb 0a
0000002

od -xánh xạ tới od -t x2đó đọc hai byte cùng một lúc và trên các hệ thống cuối nhỏ xuất ra các byte theo thứ tự ngược lại.

Khi bạn gặp một tệp như thế này, không hợp lệ UTF-8 (hoặc vô nghĩa khi được hiểu là tệp UTF-8), không có cách nào để chứng minh tự động xác định mã hóa (và bộ ký tự). Bối cảnh có thể giúp: nếu đó là một tệp được tạo trên PC phương Tây trong vài thập kỷ qua, thì rất có thể nó được mã hóa theo ISO-8859-1, -15 (biến thể Euro) hoặc Windows-1252; nếu nó cũ hơn, CP-437 và CP-850 có thể là ứng cử viên. Các tệp từ các hệ thống Đông Âu, hoặc các hệ thống của Nga hoặc các hệ thống châu Á, sẽ sử dụng các bộ ký tự khác nhau mà tôi không biết nhiều. Sau đó, có EBCDIC ... iconv -lsẽ liệt kê tất cả các bộ ký tự iconvbiết và bạn có thể tiến hành thử nghiệm và sửa lỗi từ đó.

(Tại một thời điểm, tôi biết hầu hết CP-437 và ATASCII, đó là những ngày.)

Lưu ý rằng odviết tắt của kết xuất bát phân , 005353hai byte là từ bát phân, od -xcó 0aebdạng thập lục phân là từ và nội dung thực tế của tệp của bạn là hai byte ebvà 0atheo hệ thập lục phân, theo thứ tự này.

Vì vậy, cả hai 005353và 0aebkhông thể được hiểu là "điểm mã hex".

0alà một nguồn cấp dữ liệu (LF) và ebphụ thuộc vào mã hóa của bạn. filechỉ là đoán mã hóa, nó có thể là bất cứ điều gì. Nếu không có thêm thông tin nơi tệp đến từ vv sẽ rất khó để tìm ra.

Không thể đoán được với độ chính xác 100% bộ ký tự của các tệp văn bản.

Các công cụ như chardet , firefox , file -i khi không có thông tin bộ ký tự rõ ràng được xác định (ví dụ: nếu HTML chứa bộ ký tự meta = ... trong đầu, mọi thứ sẽ dễ dàng hơn) sẽ cố gắng sử dụng phương pháp phỏng đoán không quá tệ nếu văn bản đủ lớn

Sau đây, tôi chứng minh phát hiện bộ ký tự bằng chardet( pip install chardet/ apt-get install python-chardetnếu cần).

$ echo "in Noël" | iconv -f utf8 -t latin1  | chardet
<stdin>: windows-1252 with confidence 0.73

Sau khi ứng cử viên tốt charset, chúng ta có thể sử dụng iconv, recodehoặc tương tự để thay đổi các tập tin charset để charset "hoạt động" của bạn (trong trường hợp của tôi utf-8) và xem nếu nó đoán một cách chính xác ...

iconv -f windows-1252  -t utf-8 file

Một số bộ ký tự (như iso-8859-3, iso-8859-1) có nhiều ký tự chung - đôi khi không dễ để xem liệu chúng ta có tìm thấy bộ ký tự hoàn hảo ...

Vì vậy, rất quan trọng để có siêu dữ liệu được liên kết với văn bản có liên quan (ví dụ: XML).

#!/bin/bash
#
# Search in a file, a known (part of a ) String (i.E.: Begrüßung),
# by testing all encodings
#
[[ $# -ne 2 ]] && echo "Usage: encoding-finder.sh FILE fUnKy_CHAR_FOR_SURE_IN_FILE" && exit
FILE=$1
PATTERN=$2
for enc in $( iconv -l | sed 's/..$//') 
do 
    iconv -f $enc -t UTF-8 $FILE  2>/dev/null | grep -m 1 $PATTERN && echo $enc 
done 

Nếu tôi nhận được một tập tin, trong đó có Instance the Word Begrung, tôi có thể suy ra rằng Begrüßung có thể có nghĩa. Vì vậy, tôi chuyển đổi nó bằng tất cả các bộ mã hóa đã biết và xem xét, liệu có tìm thấy nó hay không, nó chuyển đổi nó đúng cách.

Thông thường, có nhiều bảng mã có vẻ phù hợp.

Đối với các tệp dài hơn, bạn có thể cắt một đoạn thay vì chuyển đổi hàng trăm trang.

Vì vậy, tôi sẽ gọi nó

encodingfinder.sh FILE Begrüßung

và các kịch bản kiểm tra, cho dù bằng cách chuyển đổi nó với các bảng mã đã biết, chúng tạo ra "Begrüßung".

Để tìm các nhân vật như vậy, thường ít giúp đỡ, vì các nhân vật sôi nổi thường nổi bật. Từ ngữ cảnh, từ đúng để tìm kiếm thường có thể được suy ra. Nhưng chúng tôi không muốn kiểm tra với một hexeditor, đây là byte nào, và sau đó truy cập các bảng mã hóa vô tận, để tìm ra kẻ phạm tội của chúng tôi. :)