Tạo tệp CSV bằng Java

Chúng tôi có một yêu cầu trong dự án của mình là tạo một tệp CSV lớn cứ sau 2 giờ sử dụng chương trình Java.

Tập tin này sẽ có khoảng 60.000 dòng (khoảng 120 ký tự trên mỗi dòng). Tôi không chắc chắn về kích thước chưa.

Tôi muốn biết liệu tôi có gặp phải bất kỳ vấn đề nào về bộ nhớ không vì tôi sẽ mở tệp bằng FileWriter và sau đó tiếp tục ghi và cuối cùng đóng tệp.

Tôi có nên lo lắng về kích thước của tập tin? Nếu có, có bất kỳ kỹ thuật tốt nào khác để ghi vào một tệp lớn trong Java ngoài việc sử dụng FileWriter không?

Chúng tôi đang sử dụng Java 5.

Không, bạn không nên. Điểm của một tệp là lưu trữ những thứ bên ngoài bộ nhớ truy cập ngẫu nhiên; Kích thước của FileWriter là không đổi và có thể khá nhỏ, tất cả mọi thứ được xem xét, ngay cả khi đó là FileWriter được đệm. Việc viết lại liên tục có thể gây ra tải I / O hoặc CPU tăng đột biến, nhưng gần như chắc chắn không bị thiếu bộ nhớ.

Như Killian Foth đã viết nó, bạn sẽ không có vấn đề gì cả, 60000 dòng không lớn lắm. Tôi chỉ muốn đề nghị bạn sử dụng bất kỳ trình phân tích cú pháp CSV miễn phí nào được cung cấp ở đây theo sáng kiến ​​"Commons CSV" tại http://commons.apache.org/csv/ thay vì viết triển khai của riêng bạn.

Tôi đã sử dụng Super CSV cho một vài dự án và tôi chắc chắn không có vấn đề gì với nó.

Không sử dụng FileWriter. Không phải vì lo ngại về hiệu năng (các lớp IO của Java không giữ mọi thứ trong bộ nhớ, các dòng ut 60k không là gì ngay cả khi chúng đã làm), nhưng vì nó không cho phép bạn chọn mã hóa ký tự. Nó sẽ hoàn toàn sử dụng mã hóa mặc định của nền tảng, có nghĩa là văn bản bên ngoài ASCII có thể bị hỏng.

Thay vào đó, hãy sử dụng một OutputStreamWriter bao bọc FileOutputStream. Hoặc, thậm chí tốt hơn, một thư viện CSV, sẽ xử lý tất cả các vấn đề này.

Bạn có thể cân nhắc sử dụng BufferedWriter, mặc dù điều đó có thể không giúp ích đáng kể cho hiệu suất, nhưng đó là cách tốt nhất trong mọi trường hợp, vì tôi tưởng tượng số lượng dòng sẽ không luôn là 60.000.

Bạn đã xem xét việc nén các tập tin sau đó? Nếu bạn dự định có nhiều tệp này được đặt xung quanh, có thể bạn nên nén nó lại sau khi được ghi vào, đặc biệt là nếu bạn sẽ tạo các tệp này một vài giờ một lần.

Đối với những gì liên quan đến bộ nhớ, có lẽ bạn không có gì phải lo lắng trừ khi bạn đang làm việc trên một hệ thống có rất ít bộ nhớ, trong trường hợp đó bạn nên sử dụng BufferedWriter và đặt rõ ràng kích thước bộ đệm.