Tách tập tin cho mỗi 10000 số (không phải dòng)

Tôi có một tập tin trông như sau:

chr19   61336212        +       0       0       CG      CGT    
chr19   61336213        -       0       0       CG      CGG    
chr19   61336218        +       0       0       CG      CGG    
chr19   61336219        -       0       0       CG      CGC    
chr19   61336268        +       0       0       CG      CGG    
chr19   61336269        -       0       0       CG      CGA    
chr19   61336402        +       0       0       CG      CGG    
chr19   61336403        -       0       0       CG      CGT    

Tôi muốn tách tệp này cho mỗi 10000 khoảng thời gian của trường thứ 2 (KHÔNG phải dòng, nhưng khoảng số). Vì vậy, đối với tệp này, tôi muốn tách từ dòng đầu tiên (dòng có 61336212) thành dòng có hoặc lên đến 61346211 (61336212 + 9999), sau đó từ 61346212 đến 61356211, v.v. Như bạn có thể thấy các số trong trường / cột thứ 2 không được 'điền'.

Có cách nào để làm việc này không?

awk 'NR==1 {n=$2}
     {
       file = sprintf("file.%.4d", ($2-n)/10000)
       if (file != last_file) {
         close(last_file)
         last_file = file
       }
       print > file
     }'

Sẽ viết thư cho file.0000, file.0001... (số lượng là int(($2-n)/10000)nơi nlà $2cho dòng đầu tiên).

Lưu ý rằng chúng tôi đóng các tệp một khi chúng tôi đã dừng ghi vào chúng vì nếu không, bạn sẽ đạt đến giới hạn về số lượng tệp mở đồng thời sau vài trăm tệp (GNU awkcó thể hoạt động xung quanh giới hạn đó, nhưng sau đó hiệu suất sẽ giảm nhanh chóng).

Chúng tôi cho rằng những con số này luôn tăng lên.

Hack phiên bản một lót. Có lẽ phù hợp với Code Golf hơn diễn đàn này. Điều này tạo ra split1, split2, split3, v.v., dưới dạng tên tệp.

awk '{if($2>b+9999){a++;b=$2}print >"split" a}' file.txt

Để có các tệp đầu ra có tên split001, split002, split003, liên quan đến phần bổ sung này sprintf:

awk '{if($2>b+9999){a++;b=$2}print >sprintf("split%03d",a)}' file.txt

Để tránh sự cố làm chậm gawk được xác định bởi @ Stéphane Chazelas, hãy sử dụng perl:

perl -ne '(undef,$a)=split(/\s+/,$_);if($a>$b+9999){$c++;$b=$a}open(D,sprintf(">>ysplit%03d",$c));print D' <file.txt

#!/bin/bash
first=$( head -n1 file | awk -F" +" '{print $2}' )
last=$( tail -n1 file | awk -F" +" '{print $2}' )
for (( i=$first ; i<=$last ; i=i+10000 )) ; do
   awk -v start=$i -v end=$(($i+10000)) 'BEGIN { FS == " +" } { if ( $2 >= start && $2 < end ) print $0 }' file \
   >> interval_"$i"_to_"$(( $i+10000 ))"
done

Kiểm tra với khoảng thời gian được đặt thành 100:

more inter*
::::::::::::::
interval_61336212_to_61346212
::::::::::::::
chr19   61336212        +       0       0       CG      CGT    
chr19   61336213        -       0       0       CG      CGG    
chr19   61336218        +       0       0       CG      CGG    
chr19   61336219        -       0       0       CG      CGC    
chr19   61336268        +       0       0       CG      CGG    
chr19   61336269        -       0       0       CG      CGA    
::::::::::::::
interval_61336312_to_61346312
::::::::::::::
chr19   61336402        +       0       0       CG      CGG    
chr19   61336403        -       0       0       CG      CGT  

Lưu ý: sẽ tạo ra các tệp trống trong khoảng thời gian trống; để xóa các tệp trống, thêm:

for file in interval* ; do
  if [ ! -s "$file" ] ; then
    rm "$file"
  fi
done

Sẽ chạy qua tập tin cho từng bước trong forvòng lặp, do đó không hiệu quả nhất.

Nếu bạn có nghĩa là chỉ tính toán không đếm dòng:

awk 'NR==1 || n+10000<$2{n=$2; portion++}{print > FILENAME "." portion}' file