Làm thế nào tôi có thể nhanh chóng tổng hợp tất cả các số trong một tập tin?

Tôi có một tệp chứa vài nghìn số, mỗi số trên một dòng riêng:

34
42
11
6
2
99
...

Tôi đang tìm cách viết một tập lệnh sẽ in tổng của tất cả các số trong tệp. Tôi đã có một giải pháp, nhưng nó không hiệu quả lắm. (Mất vài phút để chạy.) Tôi đang tìm kiếm một giải pháp hiệu quả hơn. Bất kỳ đề xuất?

Đối với một lớp lót Perl, về cơ bản nó giống như awkgiải pháp trong câu trả lời của Ayman Hourieh :

 % perl -nle '$sum += $_ } END { print $sum'

Nếu bạn tò mò không biết Perl one-liners làm gì, bạn có thể loại bỏ chúng:

 %  perl -MO=Deparse -nle '$sum += $_ } END { print $sum'

Kết quả là một phiên bản dài hơn của chương trình, ở dạng mà không ai có thể tự viết:

BEGIN { $/ = "\n"; $\ = "\n"; }
LINE: while (defined($_ = <ARGV>)) {
    chomp $_;
    $sum += $_;
}
sub END {
    print $sum;
}
-e syntax OK

Chỉ để cười khúc khích, tôi đã thử điều này với một tệp chứa 1.000.000 số (trong phạm vi 0 - 9,999). Trên Mac Pro của tôi, nó trả về gần như ngay lập tức. Điều đó thật tệ, bởi vì tôi đã hy vọng việc sử dụng mmapsẽ rất nhanh, nhưng nó chỉ là cùng một lúc:

use 5.010;
use File::Map qw(map_file);

map_file my $map, $ARGV[0];

$sum += $1 while $map =~ m/(\d+)/g;

say $sum;

Bạn có thể sử dụng awk:

awk '{ sum += $1 } END { print sum }' file

Không có giải pháp nào cho đến nay sử dụng paste. Đây là một:

paste -sd+ filename | bc

Ví dụ: tính n trong đó 1 <= n <= 100000:

$ seq 100000 | paste -sd+ | bc -l
5000050000

(Đối với người tò mò, seq nsẽ in một chuỗi các số từ 1cho đến nmột số dương n.)

Để giải trí, hãy để điểm chuẩn cho nó:

$ for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers

$ time perl -nle '$sum += $_ } END { print $sum' random_numbers
16379866392

real    0m0.226s
user    0m0.219s
sys     0m0.002s

$ time awk '{ sum += $1 } END { print sum }' random_numbers
16379866392

real    0m0.311s
user    0m0.304s
sys     0m0.005s

$ time { { tr "\n" + < random_numbers ; echo 0; } | bc; }
16379866392

real    0m0.445s
user    0m0.438s
sys     0m0.024s

$ time { s=0;while read l; do s=$((s+$l));done<random_numbers;echo $s; }
16379866392

real    0m9.309s
user    0m8.404s
sys     0m0.887s

$ time { s=0;while read l; do ((s+=l));done<random_numbers;echo $s; }
16379866392

real    0m7.191s
user    0m6.402s
sys     0m0.776s

$ time { sed ':a;N;s/\n/+/;ta' random_numbers|bc; }
^C

real    4m53.413s
user    4m52.584s
sys 0m0.052s

Tôi đã hủy bỏ sed chạy sau 5 phút

Tôi đã lặn đến luavà nó rất nhanh

$ time lua -e 'sum=0; for line in io.lines() do sum=sum+line end; print(sum)' < random_numbers
16388542582.0

real    0m0.362s
user    0m0.313s
sys     0m0.063s

và trong khi tôi đang cập nhật điều này, ruby:

$ time ruby -e 'sum = 0; File.foreach(ARGV.shift) {|line| sum+=line.to_i}; puts sum' random_numbers
16388542582

real    0m0.378s
user    0m0.297s
sys     0m0.078s

Lời khuyên của Heed Ed Morton: sử dụng $1

$ time awk '{ sum += $1 } END { print sum }' random_numbers
16388542582

real    0m0.421s
user    0m0.359s
sys     0m0.063s

sử dụng $0

$ time awk '{ sum += $0 } END { print sum }' random_numbers
16388542582

real    0m0.302s
user    0m0.234s
sys     0m0.063s

Một lựa chọn khác là sử dụng jq:

$ seq 10|jq -s add
55

-s( --slurp) đọc các dòng đầu vào thành một mảng.

Đây là Bash thẳng:

sum=0
while read -r line
do
    (( sum += line ))
done < file
echo $sum

Đây là một lót khác

( echo 0 ; sed 's/$/ +/' foo ; echo p ) | dc

Điều này giả sử các số là số nguyên. Nếu bạn cần số thập phân, hãy thử

( echo 0 2k ; sed 's/$/ +/' foo ; echo p ) | dc

Điều chỉnh 2 đến số thập phân cần thiết.

Tôi thích sử dụng dữ liệu GNU cho các tác vụ như vậy bởi vì nó ngắn gọn và dễ đọc hơn perl hoặc awk. Ví dụ

datamash sum 1 < myfile

trong đó 1 biểu thị cột dữ liệu đầu tiên.

$ perl -MList::Util=sum -le 'print sum <>' nums.txt

Tôi thích sử dụng R cho việc này:

$ R -e 'sum(scan("filename"))'

cat nums | perl -ne '$sum += $_ } { print $sum'

(giống như câu trả lời của brian d foy, không có 'END')

Cô đọng hơn:

# Ruby
ruby -e 'puts open("random_numbers").map(&:to_i).reduce(:+)'

# Python
python -c 'print(sum(int(l) for l in open("random_numbers")))'

Perl 6

say sum lines

~$ perl6 -e '.say for 0..1000000' > test.in

~$ perl6 -e 'say sum lines' < test.in
500000500000

Để giải trí, hãy làm điều đó với PDL , công cụ toán học mảng của Perl!

perl -MPDL -E 'say rcols(shift)->sum' datafile

rcolsđọc các cột thành một ma trận (1D trong trường hợp này) và sum(bất ngờ) tính tổng tất cả các phần tử của ma trận.

Đây là một giải pháp sử dụng python với biểu thức trình tạo. Đã thử nghiệm với một triệu số trên máy tính xách tay cũ của tôi.

time python -c "import sys; print sum((float(l) for l in sys.stdin))" < file

real    0m0.619s
user    0m0.512s
sys     0m0.028s

Tôi không thể đi ngang qua ... Đây là chiếc áo lót Haskell của tôi. Nó thực sự khá dễ đọc:

sum <$> (read <$>) <$> lines <$> getContents

Thật không may, không có ghci -echỉ để chạy nó, vì vậy nó cần chức năng chính, in và biên dịch.

main = (sum <$> (read <$>) <$> lines <$> getContents) >>= print

Để làm rõ, chúng tôi đọc toàn bộ đầu vào ( getContents), chia nó theo lines, readdưới dạng số và sum. <$>là fmaptoán tử - chúng tôi sử dụng nó thay vì ứng dụng chức năng thông thường vì chắc chắn tất cả điều này xảy ra trong IO. readcần một bổ sung fmap, bởi vì nó cũng nằm trong danh sách.

$ ghc sum.hs
[1 of 1] Compiling Main             ( sum.hs, sum.o )
Linking sum ...
$ ./sum 
1
2
4
^D
7

Đây là một bản nâng cấp kỳ lạ để làm cho nó hoạt động với phao:

main = ((0.0 + ) <$> sum <$> (read <$>) <$> lines <$> getContents) >>= print

$ ./sum 
1.3
2.1
4.2
^D
7.6000000000000005

sed ':a;N;s/\n/+/;ta' file|bc

Chạy tập lệnh R

Tôi đã viết một tập lệnh R để lấy các đối số của tên tệp và tính tổng các dòng.

#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(as.numeric(readLines(file)))

Điều này có thể được tăng tốc với gói "data.table" hoặc "vroom" như sau:

#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(data.table::fread(file))

#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(vroom::vroom(file))

Điểm chuẩn

Dữ liệu điểm chuẩn tương tự như jackgl @glenn .

for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers

So với lệnh gọi R ở trên, chạy R 3.5.0 dưới dạng tập lệnh có thể so sánh với các phương thức khác (trên cùng máy chủ Linux Debian).

$ time R -e 'sum(scan("random_numbers"))'  
 0.37s user
 0.04s system
 86% cpu
 0.478 total

Tập lệnh R với readLines

$ time Rscript sum.R random_numbers
  0.53s user
  0.04s system
  84% cpu
  0.679 total

Tập lệnh R với data.table

$ time Rscript sum.R random_numbers     
 0.30s user
 0.05s system
 77% cpu
 0.453 total

Kịch bản R với vroom

$ time Rscript sum.R random_numbers     
  0.54s user 
  0.11s system
  93% cpu
  0.696 total

So sánh với các ngôn ngữ khác

Để tham khảo ở đây như một số phương pháp khác được đề xuất trên cùng một phần cứng

Con trăn 2 (2.7.13)

$ time python2 -c "import sys; print sum((float(l) for l in sys.stdin))" < random_numbers 
 0.27s user 0.00s system 89% cpu 0.298 total

Con trăn 3 (3.6.8)

$ time python3 -c "import sys; print(sum((float(l) for l in sys.stdin)))" < random_number
0.37s user 0.02s system 98% cpu 0.393 total

Ruby (2.3.3)

$  time ruby -e 'sum = 0; File.foreach(ARGV.shift) {|line| sum+=line.to_i}; puts sum' random_numbers
 0.42s user
 0.03s system
 72% cpu
 0.625 total

Perl (5.24.1)

$ time perl -nle '$sum += $_ } END { print $sum' random_numbers
 0.24s user
 0.01s system
 99% cpu
 0.249 total

Awk (4.1.4)

$ time awk '{ sum += $0 } END { print sum }' random_numbers
 0.26s user
 0.01s system
 99% cpu
 0.265 total
$ time awk '{ sum += $1 } END { print sum }' random_numbers
 0.34s user
 0.01s system
 99% cpu
 0.354 total

C (phiên bản clang 3.3; gcc (Debian 6.3.0-18) 6.3.0)

 $ gcc sum.c -o sum && time ./sum < random_numbers   
 0.10s user
 0.00s system
 96% cpu
 0.108 total

Cập nhật với các ngôn ngữ bổ sung

Lua (5.3.5)

$ time lua -e 'sum=0; for line in io.lines() do sum=sum+line end; print(sum)' < random_numbers 
 0.30s user 
 0.01s system
 98% cpu
 0.312 total

tr (8.26) phải được định thời trong bash, không tương thích với zsh

$time { { tr "\n" + < random_numbers ; echo 0; } | bc; }
real    0m0.494s
user    0m0.488s
sys 0m0.044s

sed (4.4) phải được định thời trong bash, không tương thích với zsh

$  time { head -n 10000 random_numbers | sed ':a;N;s/\n/+/;ta' |bc; }
real    0m0.631s
user    0m0.628s
sys     0m0.008s
$  time { head -n 100000 random_numbers | sed ':a;N;s/\n/+/;ta' |bc; }
real    1m2.593s
user    1m2.588s
sys     0m0.012s

lưu ý: các cuộc gọi sed dường như hoạt động nhanh hơn trên các hệ thống có sẵn nhiều bộ nhớ hơn (lưu ý các bộ dữ liệu nhỏ hơn được sử dụng để đo điểm chuẩn sed)

Julia (0,5,0)

$ time julia -e 'print(sum(readdlm("random_numbers")))'
 3.00s user 
 1.39s system 
 136% cpu 
 3.204 total
$  time julia -e 'print(sum(readtable("random_numbers")))'
 0.63s user 
 0.96s system 
 248% cpu 
 0.638 total

Lưu ý rằng như trong R, các phương thức I / O của tệp có hiệu suất khác nhau.

C ++ "một-lót":

#include <iostream>
#include <iterator>
#include <numeric>
using namespace std;

int main() {
    cout << accumulate(istream_iterator<int>(cin), istream_iterator<int>(), 0) << endl;
}

Một cái khác cho vui

sum=0;for i in $(cat file);do sum=$((sum+$i));done;echo $sum

hoặc chỉ bash khác

s=0;while read l; do s=$((s+$l));done<file;echo $s

Nhưng giải pháp awk có lẽ là tốt nhất vì nó nhỏ gọn nhất.

C luôn thắng vì tốc độ:

#include <stdio.h>
#include <stdlib.h>

int main(int argc, char **argv) {
    ssize_t read;
    char *line = NULL;
    size_t len = 0;
    double sum = 0.0;

    while (read = getline(&line, &len, stdin) != -1) {
        sum += atof(line);
    }

    printf("%f", sum);
    return 0;
}

Thời gian cho các số 1M (cùng máy / đầu vào như câu trả lời python của tôi):

$ gcc sum.c -o sum && time ./sum < numbers 
5003371677.000000
real    0m0.188s
user    0m0.180s
sys     0m0.000s

Với Ruby:

ruby -e "File.read('file.txt').split.inject(0){|mem, obj| mem += obj.to_f}"

Tôi không biết nếu bạn có thể nhận được nhiều hơn thế này, xem xét bạn cần đọc qua toàn bộ tệp.

$sum = 0;
while(<>){
   $sum += $_;
}
print $sum;

Tôi chưa thử nghiệm cái này nhưng nó sẽ hoạt động:

cat f | tr "\n" "+" | sed 's/+$/\n/' | bc

Bạn có thể phải thêm "\ n" vào chuỗi trước bc (như qua echo) nếu bc không xử lý EOF và EOL ...

Đây là một:

open(FIL, "a.txt");

my $sum = 0;
foreach( <FIL> ) {chomp; $sum += $_;}

close(FIL);

print "Sum = $sum\n";

Bạn có thể làm điều đó với Alacon - tiện ích dòng lệnh cho cơ sở dữ liệu Alasql .

Nó hoạt động với Node.js, vì vậy bạn cần cài đặt Node.js và sau đó là gói Alasql :

Để tính tổng từ tệp TXT, bạn có thể sử dụng lệnh sau:

> node alacon "SELECT VALUE SUM([0]) FROM TXT('mydata.txt')"

Không dễ dàng hơn để thay thế tất cả các dòng mới bằng cách +thêm một 0và gửi nó cho trình Rubythông dịch?

(sed -e "s/$/+/" file; echo 0)|irb

Nếu bạn không có irb, bạn có thể gửi nó đến bc, nhưng bạn phải xóa tất cả các dòng mới ngoại trừ dòng cuối cùng (của echo). Nó là tốt hơn để sử dụng trcho việc này, trừ khi bạn có bằng tiến sĩ sed.

(sed -e "s/$/+/" file|tr -d "\n"; echo 0)|bc

Trong Đi:

package main

import (
    "bufio"
    "fmt"
    "os"
    "strconv"
)

func main() {
    scanner := bufio.NewScanner(os.Stdin)
    sum := int64(0)
    for scanner.Scan() {
        v, err := strconv.ParseInt(scanner.Text(), 10, 64)
        if err != nil {
            fmt.Fprintf(os.Stderr, "Not an integer: '%s'\n", scanner.Text())
            os.Exit(1)
        }
        sum += v
    }
    fmt.Println(sum)
}

Biến thể Bash

raw=$(cat file)
echo $(( ${raw//$'\n'/+} ))

$ wc -l file
10000 file

$ time ./test
323390

real    0m3,096s
user    0m3,095s
sys     0m0,000s

Trong shell bằng awk, tôi đã sử dụng đoạn script bên dưới để làm như vậy:

    #!/bin/bash


total=0;

for i in $( awk '{ print $1; }' <myfile> )
do
 total=$(echo $total+$i | bc )
 ((count++))
done
echo "scale=2; $total " | bc