Cách chỉ giữ mỗi dòng thứ n của tệp

Tôi đã có một tệp CSV khá lớn (75MB). Tôi chỉ đang cố gắng tạo ra một biểu đồ của nó, vì vậy tôi thực sự không cần tất cả dữ liệu.

Viết lại: Tôi muốn xóa n dòng, sau đó giữ một dòng, sau đó xóa n dòng, v.v.

Vì vậy, nếu tập tin trông như thế này:

Line 1
Line 2
Line 3
Line 4
Line 5
Line 6

và n = 2, thì đầu ra sẽ là:

Line 3
Line 6

Có vẻ như sedcó thể làm điều này, nhưng tôi không thể tìm ra cách. Một lệnh bash sẽ là lý tưởng, nhưng tôi mở cho bất kỳ giải pháp nào.

~ $ awk 'NR == 1 || NR % 3 == 0' yourfile
Line 1
Line 3
Line 6

NR(số lượng bản ghi) biến là số bản ghi số dòng vì hành vi mặc định là dòng mới cho RS(bản ghi tách biệt). mẫu và hành động là tùy chọn ở định dạng mặc định của awk 'pattern {actions}'. khi chúng tôi chỉ cung cấp một phần mẫu sau đó awkviết tất cả các trường $0cho các trueđiều kiện của mẫu .

sed cũng có thể làm điều này:

$ sed -n '1p;0~3p' input.txt
Line 1
Line 3
Line 6

man sedgiải thích ~như sau:

đầu tiên ~ bước Ghép từng dòng của bước bắt đầu với dòng đầu tiên. Ví dụ, `` sed -n 1 ~ 2p '' sẽ in tất cả các dòng được đánh số lẻ trong luồng đầu vào và địa chỉ 2 ~ 5 sẽ khớp với mỗi dòng thứ năm, bắt đầu bằng dòng thứ hai. đầu tiên có thể bằng không; trong trường hợp này, sed hoạt động như thể nó bằng bước. (Đây là một phần mở rộng.)

Perl cũng có thể làm điều này:

while (<>) {
    print  if $. % 3 == 1;
}

Chương trình này sẽ in dòng đầu tiên của đầu vào và mỗi dòng thứ ba sau đó.

Để giải thích một chút, <>là toán tử đầu vào dòng, lặp lại trên các dòng đầu vào khi được sử dụng trong một whilevòng lặp như thế này. Biến đặc biệt $.chứa số dòng được đọc cho đến nay và %là toán tử mô đun.

Mã này có thể được viết thậm chí gọn hơn dưới dạng một lớp, sử dụng -nvà các -ecông tắc:

perl -ne 'print if $. % 3 == 1'  < input.txt  > output.txt

Khóa -echuyển lấy một đoạn mã Perl để thực thi như một tham số dòng lệnh, trong khi -nkhóa chuyển hoàn toàn bọc mã trong một whilevòng lặp giống như mã được hiển thị ở trên.

Chỉnh sửa: Để thực sự có được các dòng 1, 3, 6, 9, ... như trong ví dụ, thay vì các dòng 1, 4, 7, 10, ... như lần đầu tiên tôi giả sử bạn muốn, hãy thay thế $. % 3 == 1bằng $. == 1 or $. % 3 == 0.

Nếu bạn muốn làm điều đó với một tập lệnh Bash, bạn có thể thử:

#!/bin/sh

echo Please enter the file name
read fname
echo Please enter the Nth lines that you want to keep
read n

exec<$fname
value=0
while read line
do
    if [ $(( $value % $n )) -eq 0 ] ; then
        echo -e "$line" >> new_file.txt
    fi
        let value=value+1 
done
echo "Check the 'new_file.txt' that has been created in this directory";

Lưu nó dưới dạng "read_lines.sh" và nhớ cung cấp quyền + x cho tệp bash.

chmod +x ./read_lines.sh

Một giải pháp trong bash thuần túy, không sinh ra một quy trình là:

{ for f in {1..2}; do read line; done;
  while read line; do
    echo $line;
    for f in {1..2}; do read line; done;
  done; } < file

Dòng đầu tiên bỏ qua 2 dòng ở đầu tệp và whilein dòng tiếp theo và bỏ qua 2 dòng một lần nữa.

Nếu tệp của bạn nhỏ, đây là một cách rất hiệu quả để thực hiện công việc vì nó không bắt đầu một quy trình. Khi tệp của bạn lớn, sednên được sử dụng vì nó hiệu quả hơn trong việc xử lý io hơn bash.

Phiên bản Python (cả Python 2 và Python 3):

python2 -c "print(''.join(open('file.txt').readlines()[::3]))"

thay thế [::3]bằng các tham số kích thước bắt đầu, kết thúc và bước để kiểm soát nhiều hơn. Ví dụ: [10:36:5]đưa ra các dòng 10,15, ..., 35.

Lưu ý, vì readlines()giữ kết thúc dòng, đầu ra của cuộc gọi này có thể kết thúc bằng một dòng cuối cùng trống, trừ khi dòng cuối cùng ban đầu được đưa ra theo kích thước bước đã chọn.

Phiên bản luồng cũng có thể (chỉ xuất ở đây sau khi kết thúc luồng):

python -c "import sys;print(''.join(list(sys.stdin)[::3]))" < file.txt