Sử dụng 'đầu' hoặc 'đuôi' trên tệp văn bản HUGE - 19 GB

Tôi có một vấn đề với việc xem các đoạn của một tệp văn bản rất lớn. Tệp này, xấp xỉ 19 GB, rõ ràng là quá lớn để xem bằng bất kỳ phương tiện truyền thống nào.

Tôi đã thử head 1và tail 1( head -n 1và tail -n 1) với cả hai lệnh được nối với nhau theo nhiều cách khác nhau (để có được một mảnh ở giữa) mà không gặp may mắn. Máy Linux của tôi chạy Ubuntu 9.10 không thể xử lý tệp này.

Làm thế nào để tôi xử lý tập tin này? Mục tiêu cuối cùng của tôi là trau dồi trên các dòng 45000000 và 45000100.

Bạn nên sử dụng sed.

sed -n -e 45000000,45000100p -e 45000101q bigfile > savedlines

Điều này nói sedvới các dòng in bao gồm 45000000-45000100 và thoát khỏi dòng 45000101.

Tạo một cơ sở dữ liệu MySQL với một bảng duy nhất có một trường duy nhất. Sau đó nhập tệp của bạn vào cơ sở dữ liệu. Điều này sẽ làm cho nó rất dễ dàng để tìm kiếm một dòng nhất định.

Tôi không nghĩ bất cứ điều gì khác có thể nhanh hơn (nếu headvà tailđã thất bại). Cuối cùng, ứng dụng muốn tìm dòng nphải tìm kiếm trong toàn bộ tệp cho đến khi tìm thấy ndòng mới. Nếu không có một số loại tra cứu (chỉ số dòng đến byte bù vào tệp), hiệu suất tốt hơn có thể đạt được.

Với việc dễ dàng tạo cơ sở dữ liệu MySQL và nhập dữ liệu vào đó, tôi cảm thấy như đây là một cách tiếp cận khả thi.

Đây là cách làm:

DROP DATABASE IF EXISTS helperDb;
CREATE DATABASE `helperDb`;
CREATE TABLE `helperDb`.`helperTable`( `lineIndex` BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, `lineContent` MEDIUMTEXT , PRIMARY KEY (`lineIndex`) );
LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable (lineContent);
SELECT lineContent FROM helperTable WHERE ( lineIndex > 45000000 AND lineIndex < 45000100 );

/tmp/my_large_file sẽ là tập tin bạn muốn đọc.

Cú pháp đúng để nhập tệp có giá trị được phân định bằng tab trên mỗi dòng là:

LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable FIELDS TERMINATED BY '\n' (lineContent);

Một ưu điểm lớn khác của điều này là, nếu sau này bạn quyết định trích xuất một bộ dòng khác, bạn không phải đợi hàng giờ để xử lý lại (trừ khi bạn xóa cơ sở dữ liệu).

Hai công cụ cũ tốt cho các tập tin lớn là joinvà split. Bạn có thể sử dụng chia với --lines=<number>tùy chọn cắt tệp thành nhiều tệp có kích thước nhất định.

Ví dụ split --lines=45000000 huge_file.txt. Các phần kết quả sẽ là xa, xb, v.v. Sau đó, bạn có thể headphần xb sẽ bao gồm các dòng bạn muốn. Bạn cũng có thể 'tham gia' các tệp trở lại một tệp lớn.

Bạn có các công cụ phù hợp nhưng đang sử dụng chúng không chính xác. Như đã trả lời trước tại U & L, tail -n +X file | head -n Y(lưu ý +) nhanh hơn 10 - 15% so sedvới các dòng Y bắt đầu từ X. Và thuận tiện, bạn không phải xử lý rõ ràng exitquy trình như với sed.

đuôi sẽ đọc và loại bỏ các dòng X-1 đầu tiên (không có cách nào khác), sau đó đọc và in các dòng sau. Head sẽ đọc và in số dòng yêu cầu, sau đó thoát. Khi thoát ra, đuôi nhận được tín hiệu SIGPIPE và chết, do đó, nó sẽ không đọc được nhiều hơn giá trị của kích thước bộ đệm (thường là vài kilobyte) từ tệp đầu vào.