Làm cách nào để chia tệp CSV theo số hàng được chỉ định?

Tệp CSV của tôi (khoảng 10.000 hàng; mỗi hàng có 300 cột) được lưu trữ trên máy chủ LINUX. Tôi muốn chia tệp CSV này thành 500 tệp CSV gồm 20 bản ghi mỗi tệp. (Mỗi có cùng một tiêu đề CSV như hiện tại trong CSV gốc)

Có lệnh linux nào để giúp chuyển đổi này không?

Đã biến nó thành một hàm. Bây giờ bạn có thể gọisplitCsv <Filename> [chunkSize]

splitCsv() {
    HEADER=$(head -1 $1)
    if [ -n "$2" ]; then
        CHUNK=$2
    else 
        CHUNK=1000
    fi
    tail -n +2 $1 | split -l $CHUNK - $1_split_
    for i in $1_split_*; do
        sed -i -e "1i$HEADER" "$i"
    done
}

Tìm thấy trên: http://edmondscommerce.github.io/linux/linux-split-file-eg-csv-and-keep-header-row.html

Sử dụng lệnh tách Linux:

split -l 20 file.txt new    

Chia tệp "file.txt" thành các tệp bắt đầu bằng tên "mới", mỗi tệp chứa 20 dòng văn bản.

Nhập man splitvào dấu nhắc Unix để biết thêm thông tin. Tuy nhiên, trước tiên bạn sẽ phải xóa tiêu đề khỏi file.txt ( tailví dụ: bằng cách sử dụng lệnh) và sau đó thêm lại nó vào từng tệp được tách.

Điều này sẽ hoạt động !!!

file_name= Tên của tệp bạn muốn tách.
10000= Số hàng mà mỗi tệp được tách sẽ chứa
file_part_= Tiền tố của tên tệp được tách (tệp_part_0, tệp_part_1, tệp_part_2..vv tiếp tục)

split -d -l 10000 file_name.csv file_part_

Điều này sẽ làm điều đó cho bạn - tất cả các tệp của bạn sẽ được gọi là Part1-Part500.

#!/bin/bash
FILENAME=10000.csv
HDR=$(head -1 $FILENAME)   # Pick up CSV header line to apply to each file
split -l 20 $FILENAME xyz  # Split the file into chunks of 20 lines each
n=1
for f in xyz*              # Go through all newly created chunks
do
   echo $HDR > Part${n}    # Write out header to new file called "Part(n)"
   cat $f >> Part${n}      # Add in the 20 lines from the "split" command
   rm $f                   # Remove temporary file
   ((n++))                 # Increment name of output part
done

Tôi có câu trả lời một dòng (ví dụ này cung cấp cho bạn 999 dòng dữ liệu và một hàng tiêu đề cho mỗi tệp)

cat bigFile.csv | parallel --header : --pipe -N999 'cat >file_{#}.csv'

https://stackoverflow.com/a/53062251/401226