Làm cách nào tôi có thể xáo trộn các dòng của tệp văn bản trên dòng lệnh Unix hoặc trong tập lệnh shell?

Tôi muốn xáo trộn các dòng của tệp văn bản một cách ngẫu nhiên và tạo một tệp mới. Các tập tin có thể có vài ngàn dòng.

Làm thế nào tôi có thể làm điều đó với cat, awk, cut, vv?

Bạn có thể sử dụng shuf. Trên một số hệ thống ít nhất (dường như không có trong POSIX).

Như jleedev đã chỉ ra: sort -Rcũng có thể là một lựa chọn. Trên một số hệ thống ít nhất; Vâng, bạn có được hình ảnh. Nó đã được chỉ ra rằng sort -Rkhông thực sự xáo trộn mà thay vào đó sắp xếp các mục theo giá trị băm của chúng.

^{[Ghi chú của biên tập viên: sort -R gần như xáo trộn, ngoại trừ các dòng / khóa sắp xếp trùng lặp luôn luôn nằm cạnh nhau . Nói cách khác: chỉ với các dòng / khóa đầu vào duy nhất thì nó là một sự xáo trộn thực sự. Trong khi đó là sự thật rằng thứ tự đầu ra được xác định bởi giá trị băm , tính ngẫu nhiên xuất phát từ việc lựa chọn một băm ngẫu nhiên chức năng - xem tay ].}

Perl one-liner sẽ là phiên bản đơn giản của giải pháp Maxim's

perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);' < myfile

Câu trả lời này bổ sung cho nhiều câu trả lời tuyệt vời hiện có theo các cách sau:

• Các câu trả lời hiện có được đóng gói thành các hàm shell linh hoạt :

  • Các hàm không chỉ stdinnhập, mà cả các đối số tên tệp
  • Các chức năng thực hiện các bước bổ sung để xử lý SIGPIPEtheo cách thông thường (chấm dứt yên tĩnh với mã thoát 141), trái ngược với việc phá vỡ ồn ào. Điều này rất quan trọng khi đường ống đầu ra chức năng đến một đường ống được đóng sớm, chẳng hạn như khi đường ống đến head.

• Một so sánh hiệu suất được thực hiện.

• POSIX-compliant chức năng dựa trên awk, sortvàcut , chuyển thể từ các câu trả lời của riêng của OP :

shuf() { awk 'BEGIN {srand(); OFMT="%.17f"} {print rand(), $0}' "$@" |
               sort -k1,1n | cut -d ' ' -f2-; }

• Hàm dựa trên Perl - được điều chỉnh từ câu trả lời của Moonyoung Kang :

shuf() { perl -MList::Util=shuffle -e 'print shuffle(<>);' "$@"; }

• Hàm dựa trên Python , được điều chỉnh từ câu trả lời của scai :

shuf() { python -c '
import sys, random, fileinput; from signal import signal, SIGPIPE, SIG_DFL;    
signal(SIGPIPE, SIG_DFL); lines=[line for line in fileinput.input()];   
random.shuffle(lines); sys.stdout.write("".join(lines))
' "$@"; }

^{Xem phần dưới cùng cho phiên bản Windows của chức năng này.}

• Chức năng dựa trên Ruby , được điều chỉnh từ câu trả lời của hoffmanc :

shuf() { ruby -e 'Signal.trap("SIGPIPE", "SYSTEM_DEFAULT");
                     puts ARGF.readlines.shuffle' "$@"; }

So sánh hiệu suất:

Lưu ý: Những con số này đã thu được trên iMac cuối năm 2012 với Intel Core i5 3,2 GHz và Fusion Drive, chạy OSX 10.10.3. Mặc dù thời gian sẽ thay đổi theo hệ điều hành được sử dụng, thông số kỹ thuật của máy, awkviệc triển khai được sử dụng (ví dụ: awkphiên bản BSD được sử dụng trên OSX thường chậm hơn GNU awkvà đặc biệt mawk), điều này sẽ mang lại cảm giác chung về hiệu suất tương đối .

Tệp đầu vào là tệp 1 triệu dòng được tạo bằng seq -f 'line %.0f' 1000000.
Thời gian được liệt kê theo thứ tự tăng dần (đầu tiên nhanh nhất):

• shuf
  • 0.090s
• Ruby 2.0.0
  • 0.289s
• Perl 5.18.2
  • 0.589s
• Con trăn
  • 1.342svới Python 2.7.6; 2.407s(!) với Python 3.4.2
• awk+ sort+cut
  • 3.003svới BSD awk; 2.388svới GNU awk(4.1.1); 1.811svới mawk(1.3.4);

Để so sánh thêm, các giải pháp không được đóng gói như các chức năng trên:

• sort -R (không phải là một sự xáo trộn thực sự nếu có các dòng đầu vào trùng lặp)
  • 10.661s - phân bổ thêm bộ nhớ dường như không tạo ra sự khác biệt
• Scala
  • 24.229s
• bash vòng lặp + sort
  • 32.593s

Kết luận :

• Sử dụng shuf, nếu bạn có thể - đó là nhanh nhất cho đến nay.
• Ruby làm tốt, tiếp theo là Perl .
• Python chậm hơn đáng kể so với Ruby và Perl, và, so sánh các phiên bản Python, 2.7.6 nhanh hơn một chút so với 3.4.1
• Sử dụng POSIX-compliant awk+ sort+ cutkết hợp như một phương sách cuối cùng ; mà awkthực hiện bạn sử dụng các vấn đề ( mawknhanh hơn GNU awk, BSD awklà chậm nhất).
• Tránh xa sort -R, bashvòng lặp và Scala.

Các phiên bản Windows của giải pháp Python (mã Python giống hệt nhau, ngoại trừ các biến thể trong trích dẫn và loại bỏ các câu lệnh liên quan đến tín hiệu không được hỗ trợ trên Windows):

• Đối với PowerShell (trong Windows PowerShell, bạn sẽ phải điều chỉnh $OutputEncodingnếu bạn muốn gửi các ký tự không phải ASCII qua đường ống):

# Call as `shuf someFile.txt` or `Get-Content someFile.txt | shuf`
function shuf {
  $Input | python -c @'
import sys, random, fileinput;
lines=[line for line in fileinput.input()];
random.shuffle(lines); sys.stdout.write(''.join(lines))
'@ $args  
}

Lưu ý rằng PowerShell có thể tự xáo trộn thông qua Get-Randomlệnh ghép ngắn của nó (mặc dù hiệu suất có thể là một vấn đề); ví dụ:
Get-Content someFile.txt | Get-Random -Count ([int]::MaxValue)

• Dành cho cmd.exe(một tệp bó):

Lưu vào tập tin shuf.cmd, ví dụ:

@echo off
python -c "import sys, random, fileinput; lines=[line for line in fileinput.input()]; random.shuffle(lines); sys.stdout.write(''.join(lines))" %*

Tôi sử dụng một tập lệnh perl nhỏ, mà tôi gọi là "unort":

#!/usr/bin/perl
use List::Util 'shuffle';
@list = <STDIN>;
print shuffle(@list);

Tôi cũng đã có một phiên bản được phân định bằng NULL, được gọi là "unsort0" ... tiện dụng để sử dụng với find -print0, v.v.

PS: Được bình chọn là 'shuf', tôi không biết rằng có trong coreutils những ngày này ... những điều trên có thể vẫn hữu ích nếu hệ thống của bạn không có 'shuf'.

Đây là lần thử đầu tiên dễ dàng với bộ mã hóa nhưng khó với CPU có số ngẫu nhiên cho mỗi dòng, sắp xếp chúng và sau đó tách số ngẫu nhiên từ mỗi dòng. Trong thực tế, các dòng được sắp xếp ngẫu nhiên:

cat myfile | awk 'BEGIN{srand();}{print rand()"\t"$0}' | sort -k1 -n | cut -f2- > myfile.shuffled

đây là một kịch bản awk

awk 'BEGIN{srand() }
{ lines[++d]=$0 }
END{
    while (1){
    if (e==d) {break}
        RANDOM = int(1 + rand() * d)
        if ( RANDOM in lines  ){
            print lines[RANDOM]
            delete lines[RANDOM]
            ++e
        }
    }
}' file

đầu ra

$ cat file
1
2
3
4
5
6
7
8
9
10

$ ./shell.sh
7
5
10
9
6
8
2
1
3
4

Một lớp lót cho trăn:

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

Và để in chỉ một dòng ngẫu nhiên duy nhất:

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

Nhưng hãy xem bài viết này để biết nhược điểm của python random.shuffle(). Nó sẽ không hoạt động tốt với nhiều yếu tố (hơn 2080).

Hàm dựa trên awk đơn giản sẽ thực hiện công việc:

shuffle() { 
    awk 'BEGIN{srand();} {printf "%06d %s\n", rand()*1000000, $0;}' | sort -n | cut -c8-
}

sử dụng:

any_command | shuffle

Điều này sẽ làm việc trên hầu hết các UNIX. Đã thử nghiệm trên Linux, Solaris và HP-UX.

Cập nhật:

Lưu ý rằng các số 0 ( %06d) và rand()phép nhân hàng đầu làm cho nó hoạt động chính xác cũng trên các hệ thống sortkhông hiểu số. Nó có thể được sắp xếp thông qua thứ tự từ điển (hay còn gọi là so sánh chuỗi bình thường).

Ruby FTW:

ls | ruby -e 'puts STDIN.readlines.shuffle'

Một lớp lót cho Python dựa trên câu trả lời của scai , nhưng a) lấy stdin, b) làm cho kết quả có thể lặp lại với seed, c) chỉ chọn ra 200 dòng.

$ cat file | python -c "import random, sys; 
  random.seed(100); print ''.join(random.sample(sys.stdin.readlines(), 200))," \
  > 200lines.txt

Một cách đơn giản và trực quan sẽ được sử dụng shuf.

Thí dụ:

Giả sử words.txtnhư:

the
an
linux
ubuntu
life
good
breeze

Để xáo trộn các dòng, làm:

$ shuf words.txt

trong đó sẽ ném các dòng xáo trộn đến đầu ra tiêu chuẩn ; Vì vậy, bạn đã để ống nó vào một tập tin đầu ra như sau:

$ shuf words.txt > shuffled_words.txt

Một lần chạy ngẫu nhiên như vậy có thể mang lại:

breeze
the
linux
an
ubuntu
good
life

Chúng tôi có một gói để thực hiện công việc:

sudo apt-get install randomize-lines

Thí dụ:

Tạo một danh sách các số theo thứ tự và lưu nó vào 1000.txt:

seq 1000 > 1000.txt

để xáo trộn nó, chỉ cần sử dụng

rl 1000.txt

Đây là tập lệnh python mà tôi đã lưu dưới dạng rand.py trong thư mục nhà của mình:

#!/bin/python

import sys
import random

if __name__ == '__main__':
  with open(sys.argv[1], 'r') as f:
    flist = f.readlines()
    random.shuffle(flist)

    for line in flist:
      print line.strip()

Trên Mac OSX sort -Rvà shufkhông có sẵn để bạn có thể đặt bí danh này trong bash_profile của mình dưới dạng:

alias shuf='python rand.py'

Nếu như tôi, bạn đã đến đây để tìm kiếm một thay thế shufcho macOS thì hãy sử dụng randomize-lines.

Cài đặt randomize-linesgói (homebrew), có rllệnh có chức năng tương tự shuf.

brew install randomize-lines

Usage: rl [OPTION]... [FILE]...
Randomize the lines of a file (or stdin).

  -c, --count=N  select N lines from the file
  -r, --reselect lines may be selected multiple times
  -o, --output=FILE
                 send output to file
  -d, --delimiter=DELIM
                 specify line delimiter (one character)
  -0, --null     set line delimiter to null character
                 (useful with find -print0)
  -n, --line-number
                 print line number with output lines
  -q, --quiet, --silent
                 do not output any errors or warnings
  -h, --help     display this help and exit
  -V, --version  output version information and exit

Nếu bạn đã cài đặt Scala, đây là một lớp lót để xáo trộn đầu vào:

ls -1 | scala -e 'for (l <- util.Random.shuffle(io.Source.stdin.getLines.toList)) println(l)'

Hàm bash này có sự phụ thuộc tối thiểu (chỉ sắp xếp và bash):

shuf() {
while read -r x;do
    echo $RANDOM$'\x1f'$x
done | sort |
while IFS=$'\x1f' read -r x y;do
    echo $y
done
}

Trong cửa sổ Bạn có thể thử tệp bó này để giúp bạn xáo trộn data.txt của bạn, Việc sử dụng mã bó là

C:\> type list.txt | shuffle.bat > maclist_temp.txt

Sau khi ban hành lệnh này, maclist_temp.txt sẽ chứa danh sách các dòng ngẫu nhiên.

Hi vọng điêu nay co ich.

Chưa được đề cập đến:

1. Việc sử dụng unsort. Cú pháp (hơi hướng danh sách phát):

   unsort [-hvrpncmMsz0l] [--help] [--version] [--random] [--heuristic]
          [--identity] [--filenames[=profile]] [--separator sep] [--concatenate] 
          [--merge] [--merge-random] [--seed integer] [--zero-terminated] [--null] 
          [--linefeed] [file ...]

2. msort có thể xáo trộn theo dòng, nhưng nó thường quá mức:

   seq 10 | msort -jq -b -l -n 1 -c r

Một awkbiến thể khác :

#!/usr/bin/awk -f
# usage:
# awk -f randomize_lines.awk lines.txt
# usage after "chmod +x randomize_lines.awk":
# randomize_lines.awk lines.txt

BEGIN {
  FS = "\n";
  srand();
}

{
  lines[ rand()] = $0;
}

END {
  for( k in lines ){
    print lines[k];
  }
}