Sự cố mã hóa Java FileReader

Tôi đã cố gắng sử dụng java.io.FileReader để đọc một số tệp văn bản và chuyển đổi chúng thành một chuỗi, nhưng tôi thấy kết quả được mã hóa sai và hoàn toàn không thể đọc được.

Đây là môi trường của tôi:

• Windows 2003, hệ điều hành mã hóa: CP1252

• Java 5.0

Các tệp của tôi được mã hóa UTF-8 hoặc mã hóa CP1252 và một số trong số chúng (các tệp được mã hóa UTF-8) có thể chứa các ký tự tiếng Trung (không phải tiếng Latinh).

Tôi sử dụng mã sau đây để thực hiện công việc của mình:

   private static String readFileAsString(String filePath)
    throws java.io.IOException{
        StringBuffer fileData = new StringBuffer(1000);
        FileReader reader = new FileReader(filePath);
        //System.out.println(reader.getEncoding());
        BufferedReader reader = new BufferedReader(reader);
        char[] buf = new char[1024];
        int numRead=0;
        while((numRead=reader.read(buf)) != -1){
            String readData = String.valueOf(buf, 0, numRead);
            fileData.append(readData);
            buf = new char[1024];
        }
        reader.close();
        return fileData.toString();
    }

Các mã trên không hoạt động. Tôi thấy mã hóa của FileReader là CP1252 ngay cả khi văn bản được mã hóa UTF-8. Nhưng JavaDoc của java.io.FileReader nói rằng:

Các hàm tạo của lớp này giả định rằng mã hóa ký tự mặc định và kích thước bộ đệm byte mặc định là phù hợp.

Điều này có nghĩa là tôi không bắt buộc phải tự mình thiết lập mã hóa ký tự nếu tôi đang sử dụng FileReader? Nhưng hiện tại tôi đã nhận được dữ liệu được mã hóa sai, cách chính xác để xử lý tình huống của tôi là gì? Cảm ơn.

Có, bạn cần chỉ định mã hóa của tệp bạn muốn đọc.

Vâng, điều này có nghĩa là bạn phải biết mã hóa tệp bạn muốn đọc.

Không, không có cách nào chung để đoán mã hóa của bất kỳ tệp "văn bản thuần túy" nào.

Các hàm tạo một đối sốFileReader luôn sử dụng mã hóa mặc định của nền tảng thường là một ý tưởng tồi .

Vì Java 11 FileReadercũng đã có được các hàm tạo chấp nhận mã hóa: new FileReader(file, charset)và new FileReader(fileName, charset).

Trong các phiên bản trước của java, bạn cần sử dụng .new InputStreamReader(new FileInputStream(pathToFile), <encoding>)

FileReader sử dụng mã hóa mặc định nền tảng của Java, tùy thuộc vào cài đặt hệ thống của máy tính mà nó đang chạy và thường là mã hóa phổ biến nhất trong số những người dùng ở miền địa phương đó.

Nếu "dự đoán tốt nhất" này không chính xác thì bạn phải xác định rõ ràng mã hóa. Thật không may, FileReaderkhông cho phép điều này (giám sát chính trong API). Thay vào đó, bạn phải sử dụng new InputStreamReader(new FileInputStream(filePath), encoding)và lý tưởng là lấy mã hóa từ siêu dữ liệu về tệp.

Vì Java 11, bạn có thể sử dụng:

public FileReader(String fileName, Charset charset) throws IOException;

Đối với tài liệu Java 7+, bạn có thể sử dụng tài liệu này:

BufferedReader reader = Files.newBufferedReader(path, StandardCharsets.UTF_8);

Dưới đây là tất cả các tài liệu Charsets

Ví dụ: nếu tệp của bạn nằm trong CP1252, hãy sử dụng phương pháp này

Charset.forName("windows-1252");

Đây là các tên chính tắc khác cho mã hóa Java cho cả tài liệu IO và NIO

Nếu bạn không biết với mã hóa chính xác mà bạn có trong một tệp, bạn có thể sử dụng một số lib của bên thứ ba như công cụ này của Google, công cụ này hoạt động khá gọn gàng.

FileInputStream với InputStreamReader tốt hơn so với sử dụng trực tiếp FileReader, vì cái sau không cho phép bạn chỉ định bảng mã hóa.

Dưới đây là một ví dụ sử dụng BufferedReader, FileInputStream và InputStreamReader cùng nhau, để bạn có thể đọc các dòng từ một tệp.

List<String> words = new ArrayList<>();
List<String> meanings = new ArrayList<>();
public void readAll( ) throws IOException{
    String fileName = "College_Grade4.txt";
    String charset = "UTF-8";
    BufferedReader reader = new BufferedReader(
        new InputStreamReader(
            new FileInputStream(fileName), charset)); 

    String line; 
    while ((line = reader.readLine()) != null) { 
        line = line.trim();
        if( line.length() == 0 ) continue;
        int idx = line.indexOf("\t");
        words.add( line.substring(0, idx ));
        meanings.add( line.substring(idx+1));
    } 
    reader.close();
}

Đối với ngôn ngữ Latinh khác, ví dụ như tiếng Cyrillic, bạn có thể sử dụng một cái gì đó như thế này:

FileReader fr = new FileReader("src/text.txt", StandardCharsets.UTF_8);

và chắc chắn rằng .txttệp của bạn được lưu với UTF-8định ANSIdạng (nhưng không phải là mặc định ). Chúc mừng!