Làm cách nào tôi có thể tìm thấy các ký tự không phải ASCII trong tệp văn bản?

Có một công cụ có thể quét một tệp văn bản nhỏ và tìm kiếm bất kỳ ký tự nào không có trong bộ ký tự ASCII đơn giản không?

Một tập lệnh Java hoặc Groovy đơn giản cũng sẽ làm được.

Chà, nó vẫn ở đây sau một giờ, vì vậy tôi cũng có thể trả lời nó. Đây là một bộ lọc đơn giản chỉ in các ký tự không phải ASCII từ đầu vào của nó và cung cấp mã thoát 0 nếu không có bất kỳ và 1 nếu có. Chỉ đọc từ đầu vào tiêu chuẩn.

#include <stdio.h>
#include <ctype.h>

int main(void)
{
    int c, flag = 0;

    while ((c = getchar()) != EOF)
        if (!isascii(c)) {
            putchar(c);
            flag = 1;
        }

    return flag;
}

Chỉ cần chạy $ JDK_HOME / bin / igen2ascii trên tệp văn bản và tìm kiếm "\ u" trong tệp đầu ra. Tôi giả sử bạn muốn tìm nó để bạn có thể thoát khỏi nó và điều này sẽ giúp bạn tiết kiệm một bước. ;)

Tôi không biết điều này có hợp pháp hay không, chuyển từng char thành int và sử dụng lệnh bắt để xác định những thứ không thành công. Tôi cũng quá lười để viết cái này trong java nên có một số Groovy

def chars = ['Ã', 'a', 'Â', 'ç', 'x', 'o', 'Ð'];

chars.each{
    try{ def asciiInt = (int) it }
    catch(Exception e){ print it + " "}
}

==> Ã Â ç

Trong Java (giả sử chuỗi được chỉ định làm đối số dòng lệnh đầu tiên:

public class Main
{
    public static void main(String[] args)
    {
        String stringToSearch = args[0];
        int len = stringToSearch.length();
        for (int i = 0; i < len; i++)
        {
            char ch = stringToSearch.charAt(i);
            if (ch >= 128) // non-ascii
            {
                System.out.print(ch + " ");
            }
        }
        System.out.println();
    }
}

Để làm điều này của riêng bạn, thay thế stringToSearchbằng bất cứ điều gì bạn cần.

Một ví dụ đơn giản:

def str = [ "this doesn't have any unicode", "this one does ±ÁΘ·€ÔÅ" ]

str.each {
    if( it ==~ /[\x00-\x7F]*/ ) {
        println "all ascii: $it"
    } else {
        println "NOT ASCII: $it"
    }
}

Nó đơn giản như bit này ở đây: it ==~ /[\x00-\x7F]*/

Chỉnh sửa: Tôi quên bao gồm một phiên bản cho các tập tin. Úi:

def text = new File(args[0]).text
if( text ==~ /[\x00-\x7F]*/ ) {
    println "${args[0]} is only ASCII"
    System.exit(0)
} else {
    println "${args[0]} contains non-ASCII characters"
    System.exit(-1)
}

Phiên bản đó có thể được sử dụng làm tập lệnh dòng lệnh và bao gồm trạng thái thoát để có thể bị xiềng xích.