Làm cách nào để tìm mã hóa tệp qua tập lệnh trên Linux?

Tôi cần tìm mã hóa của tất cả các tệp được đặt trong một thư mục. Có cách nào để tìm mã hóa được sử dụng?

Các filelệnh không có khả năng để làm điều này.

Mã hóa mà tôi quan tâm là: ISO-8859-1. Nếu mã hóa là bất cứ điều gì khác, tôi muốn di chuyển tệp sang thư mục khác.

Âm thanh như bạn đang tìm kiếm enca. Nó có thể đoán và thậm chí chuyển đổi giữa các bảng mã. Chỉ cần nhìn vào trang người đàn ông .

Hoặc, không thành công, sử dụng file -i(linux) hoặc file -I(osx). Điều đó sẽ xuất thông tin kiểu MIME cho tệp, cũng sẽ bao gồm mã hóa tập ký tự. Tôi cũng tìm thấy một trang dành cho nó :)

file -bi <file name>

Nếu bạn muốn làm điều này cho một loạt các tập tin

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

uchardet - Một thư viện phát hiện mã hóa được chuyển từ Mozilla.

Sử dụng:

~> uchardet file.java 
UTF-8

Các bản phân phối Linux khác nhau (Debian / Ubuntu, OpenSuse-packman, ...) cung cấp các tệp nhị phân.

đây là tập lệnh ví dụ sử dụng tệp -I và iconv hoạt động trên MacOsX Đối với câu hỏi của bạn, bạn cần sử dụng mv thay vì iconv

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

Thật sự rất khó để xác định nếu nó là iso-8859-1. Nếu bạn có một văn bản chỉ có 7 ký tự cũng có thể là iso-8859-1 nhưng bạn không biết. Nếu bạn có các ký tự 8 bit thì các ký tự vùng trên cũng tồn tại theo thứ tự mã hóa. Do đó, bạn sẽ phải sử dụng một từ điển để đoán từ đó là từ nào và xác định từ đó phải là chữ cái nào. Cuối cùng nếu bạn phát hiện ra rằng nó có thể là utf-8 thì bạn chắc chắn đó không phải là iso-8859-1

Mã hóa là một trong những điều khó nhất để làm bởi vì bạn không bao giờ biết nếu không có gì đang nói với bạn

Trong Debian bạn cũng có thể sử dụng encguess::

$ encguess test.txt
test.txt  US-ASCII

Để chuyển đổi mã hóa từ 8859 sang ASCII:

iconv -f ISO_8859-1 -t ASCII filename.txt

Với Python, bạn có thể sử dụng mô-đun chardet: https://github.com/chardet/chardet

Đây không phải là điều bạn có thể làm một cách dễ dàng. Một khả năng sẽ là kiểm tra mọi ký tự trong tệp để đảm bảo rằng nó không chứa bất kỳ ký tự nào trong phạm vi 0x00 - 0x1fhoặc 0x7f -0x9f, như tôi đã nói, điều này có thể đúng với bất kỳ số lượng tệp nào, bao gồm ít nhất một biến thể khác của ISO8859.

Một khả năng khác là tìm kiếm các từ cụ thể trong tệp bằng tất cả các ngôn ngữ được hỗ trợ và xem bạn có thể tìm thấy chúng không.

Vì vậy, ví dụ, tìm tương đương với tiếng Anh "và", "nhưng", "đến", "của" trong tất cả các ngôn ngữ được hỗ trợ của 8859-1 và xem liệu chúng có số lần xuất hiện lớn trong tập tin.

Tôi không nói về dịch nghĩa đen như:

English   French
-------   ------
of        de, du
and       et
the       le, la, les

mặc dù điều đó là có thể Tôi đang nói về những từ phổ biến trong ngôn ngữ đích (đối với tất cả những gì tôi biết, tiếng Iceland không có từ "và" - có lẽ bạn phải sử dụng từ "cá" [xin lỗi đó là một chút rập khuôn, tôi đã không có nghĩa là bất kỳ hành vi phạm tội, chỉ minh họa một điểm]).

Tôi biết bạn quan tâm đến một câu trả lời tổng quát hơn, nhưng những gì tốt trong ASCII thường tốt trong các bảng mã khác. Dưới đây là một lớp lót Python để xác định xem đầu vào tiêu chuẩn có phải là ASCII không. (Tôi khá chắc chắn rằng điều này hoạt động trong Python 2, nhưng tôi chỉ thử nghiệm nó trên Python 3.)

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

Nếu bạn đang nói về các tệp XML (ISO-8859-1), khai báo XML bên trong chúng chỉ định mã hóa: <?xml version="1.0" encoding="ISO-8859-1" ?>
Vì vậy, bạn có thể sử dụng các biểu thức chính quy (ví dụ với perl) để kiểm tra mọi tệp cho thông số kỹ thuật đó.
Thông tin chi tiết có thể được tìm thấy ở đây: Cách xác định mã hóa tệp văn bản .

Trong php bạn có thể kiểm tra như dưới đây:

Chỉ định danh sách mã hóa rõ ràng:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Chính xác hơn "mb_list_encodings":

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Ở đây trong ví dụ đầu tiên, bạn có thể thấy rằng tôi đặt một danh sách các bảng mã (phát hiện thứ tự danh sách) có thể khớp. Để có kết quả chính xác hơn, bạn có thể sử dụng tất cả các mã hóa có thể thông qua: mb_list_encodings ()

Lưu ý các hàm mb_ ​​* yêu cầu php-mbopes

apt-get install php-mbstring

Trong Cygwin, điều này có vẻ như nó hoạt động với tôi:

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

Thí dụ:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

Bạn có thể chuyển nó thành awk và tạo một lệnh iconv để chuyển đổi mọi thứ thành utf8, từ bất kỳ mã hóa nguồn nào được iconv hỗ trợ.

Thí dụ:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

Bạn có thể trích xuất mã hóa của một tệp bằng lệnh tệp. Tôi có tệp sample.html với:

$ file sample.html 

sample.html: Tài liệu HTML, văn bản Unicode UTF-8, với các dòng rất dài

$ file -b sample.html

Tài liệu HTML, văn bản Unicode UTF-8, với các dòng rất dài

$ file -bi sample.html

văn bản / html; bộ ký tự = utf-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

utf-8

Tôi đang sử dụng đoạn script sau để

1. Tìm tất cả các tệp khớp với LỌC với SRC_ENCODING
2. Tạo một bản sao lưu của chúng
3. Chuyển đổi chúng thành DST_ENCODING
4. (tùy chọn) Xóa các bản sao lưu

.

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

với lệnh này:

for f in `find .`; do echo `file -i "$f"`; done

bạn có thể liệt kê tất cả các tệp trong một thư mục và thư mục con và mã hóa tương ứng.

Với Perl, sử dụng Encode :: Detect.