chuyển đổi bộ đệm truyền phát thành chuỗi utf8

Tôi muốn tạo một yêu cầu HTTP bằng cách sử dụng node.js để tải một số văn bản từ máy chủ web. Vì phản hồi có thể chứa nhiều văn bản (một số Megabyte) nên tôi muốn xử lý từng đoạn văn bản riêng biệt. Tôi có thể đạt được điều này bằng cách sử dụng mã sau đây:

var req = http.request(reqOptions, function(res) {
    ...
    res.setEncoding('utf8');
    res.on('data', function(textChunk) {
        // process utf8 text chunk
    });
});

Điều này dường như làm việc mà không có vấn đề. Tuy nhiên tôi muốn hỗ trợ nén HTTP, vì vậy tôi sử dụng zlib:

var zip = zlib.createUnzip();

// NO res.setEncoding('utf8') here since we need the raw bytes for zlib
res.on('data', function(chunk) {
    // do something like checking the number of bytes downloaded
    zip.write(chunk); // give the raw bytes to zlib, s.b.
});

zip.on('data', function(chunk) {
    // convert chunk to utf8 text:
    var textChunk = chunk.toString('utf8');

    // process utf8 text chunk
});

Đây có thể là một vấn đề đối với các ký tự nhiều byte như '\u00c4'bao gồm hai byte: 0xC3và 0x84. Nếu byte đầu tiên được bao phủ bởi đoạn đầu tiên ( Buffer) và byte thứ hai bởi đoạn thứ hai thì chunk.toString('utf8')sẽ tạo ra các ký tự không chính xác ở cuối / đầu đoạn văn bản. Làm thế nào tôi có thể tránh điều này?

Gợi ý: Tôi vẫn cần bộ đệm (cụ thể hơn là số byte trong bộ đệm) để giới hạn số byte được tải xuống. Vì vậy, sử dụng res.setEncoding('utf8')like trong mã ví dụ đầu tiên ở trên cho dữ liệu không nén không phù hợp với nhu cầu của tôi.

Bộ đệm đơn

Nếu bạn có một đơn, Bufferbạn có thể sử dụng toStringphương thức của nó để chuyển đổi tất cả hoặc một phần nội dung nhị phân thành một chuỗi bằng cách sử dụng một mã hóa cụ thể. Nó mặc định là utf8nếu bạn không cung cấp một tham số, nhưng tôi đã đặt mã hóa rõ ràng trong ví dụ này.

var req = http.request(reqOptions, function(res) {
    ...

    res.on('data', function(chunk) {
        var textChunk = chunk.toString('utf8');
        // process utf8 text chunk
    });
});

Bộ đệm phát trực tuyến

Nếu bạn đã phát trực tuyến bộ đệm như trong câu hỏi ở trên, nơi byte đầu tiên của đa byte UTF8có thể được chứa trong byte đầu tiên Buffer(chunk) và byte thứ hai trong giây Bufferthì bạn nên sử dụng a StringDecoder. :

var StringDecoder = require('string_decoder').StringDecoder;

var req = http.request(reqOptions, function(res) {
    ...
    var decoder = new StringDecoder('utf8');

    res.on('data', function(chunk) {
        var textChunk = decoder.write(chunk);
        // process utf8 text chunk
    });
});

Bằng cách này, các byte của các ký tự không hoàn chỉnh được đệm bởi StringDecodercho đến khi tất cả các byte cần thiết được ghi vào bộ giải mã.

var fs = require("fs");

function readFileLineByLine(filename, processline) {
    var stream = fs.createReadStream(filename);
    var s = "";
    stream.on("data", function(data) {
        s += data.toString('utf8');
        var lines = s.split("\n");
        for (var i = 0; i < lines.length - 1; i++)
            processline(lines[i]);
        s = lines[lines.length - 1];
    });

    stream.on("end",function() {
        var lines = s.split("\n");
        for (var i = 0; i < lines.length; i++)
            processline(lines[i]);
    });
}

var linenumber = 0;
readFileLineByLine(filename, function(line) {
    console.log(++linenumber + " -- " + line);
});