Làm thế nào để sao chép các tệp dữ liệu lớn theo từng dòng?

Tôi có một CSVtệp 35GB . Tôi muốn đọc từng dòng và viết dòng đó ra một CSV mới nếu nó phù hợp với một điều kiện.

try (BufferedWriter writer = Files.newBufferedWriter(Paths.get("source.csv"))) {
    try (BufferedReader br = Files.newBufferedReader(Paths.get("target.csv"))) {
        br.lines().parallel()
            .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
            .forEach(line -> {
                writer.write(line + "\n");
        });
    }
}

Điều này mất khoảng. 7 phút. Có thể tăng tốc quá trình đó hơn nữa?

Nếu đó là một tùy chọn, bạn có thể sử dụng GZipInputStream / GZipOutputStream để giảm thiểu I / O đĩa.

Files.newBufferedReader / Writer sử dụng kích thước bộ đệm mặc định, 8 KB tôi tin. Bạn có thể thử một bộ đệm lớn hơn.

Chuyển đổi thành Chuỗi, Unicode, làm chậm lại (và sử dụng gấp đôi bộ nhớ). UTF-8 được sử dụng không đơn giản như StandardCharsets.ISO_8859_1.

Tốt nhất là nếu bạn có thể làm việc với các byte cho hầu hết các phần và chỉ cho các trường CSV cụ thể chuyển đổi chúng thành Chuỗi.

Một tập tin ánh xạ bộ nhớ có thể là thích hợp nhất. Tính song song có thể được sử dụng bởi các phạm vi tệp, nhổ tệp.

try (FileChannel sourceChannel = new RandomAccessFile("source.csv","r").getChannel(); ...
MappedByteBuffer buf = sourceChannel.map(...);

Điều này sẽ trở thành một chút nhiều mã, nhận được các dòng ngay (byte)'\n', nhưng không quá phức tạp.

bạn có thể thử điều này:

try (BufferedWriter writer = new BufferedWriter(new FileWriter(targetFile), 1024 * 1024 * 64)) {
  try (BufferedReader br = new BufferedReader(new FileReader(sourceFile), 1024 * 1024 * 64)) {

Tôi nghĩ rằng nó sẽ giúp bạn tiết kiệm một hoặc hai phút. kiểm tra có thể được thực hiện trên máy của tôi trong khoảng 4 phút bằng cách chỉ định kích thước bộ đệm.

nó có thể nhanh hơn không? thử cái này:

final char[] cbuf = new char[1024 * 1024 * 128];

try (Writer writer = new FileWriter(targetFile)) {
  try (Reader br = new FileReader(sourceFile)) {
    int cnt = 0;
    while ((cnt = br.read(cbuf)) > 0) {
      // add your code to process/split the buffer into lines.
      writer.write(cbuf, 0, cnt);
    }
  }
}

Điều này sẽ giúp bạn tiết kiệm ba hoặc bốn phút.

Nếu điều đó vẫn chưa đủ. (Lý do tôi đoán bạn đặt câu hỏi có lẽ là bạn cần thực hiện nhiệm vụ nhiều lần). nếu bạn muốn hoàn thành nó trong một phút hoặc thậm chí vài giây. sau đó bạn nên xử lý dữ liệu và lưu nó vào db, sau đó xử lý tác vụ bằng nhiều máy chủ.

Nhờ tất cả các đề xuất của bạn, nhanh nhất tôi đã đưa ra là trao đổi với người viết BufferedOutputStream, điều này đã cải thiện khoảng 25%:

   try (BufferedReader reader = Files.newBufferedReader(Paths.get("sample.csv"))) {
        try (BufferedOutputStream writer = new BufferedOutputStream(Files.newOutputStream(Paths.get("target.csv")), 1024 * 16)) {
            reader.lines().parallel()
                    .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
                    .forEach(line -> {
                        writer.write((line + "\n").getBytes());
                    });
        }
    }

Vẫn là hiệu suất BufferedReadertốt hơn BufferedInputStreamtrong trường hợp của tôi.