Làm cách nào tôi có thể sắp xếp ngẫu nhiên các dòng trong tệp bằng các công cụ tiêu chuẩn trên Red Hat Linux?

Làm cách nào tôi có thể sắp xếp ngẫu nhiên các dòng trong tệp bằng các công cụ tiêu chuẩn trên Red Hat Linux?

Tôi không có shuflệnh, vì vậy tôi đang tìm kiếm thứ gì đó giống như một perlhoặc awkmột lớp lót hoàn thành cùng một nhiệm vụ.

Và một lớp lót Perl bạn nhận được!

perl -MList::Util -e 'print List::Util::shuffle <>'

Nó sử dụng một mô-đun, nhưng mô-đun là một phần của phân phối mã Perl. Nếu điều đó chưa đủ tốt, bạn có thể cân nhắc việc lăn bánh của riêng mình.

Tôi đã thử sử dụng điều này với -icờ ("chỉnh sửa tại chỗ") để nó chỉnh sửa tệp. Tài liệu cho thấy nó sẽ hoạt động, nhưng nó không. Nó vẫn hiển thị tệp xáo trộn thành stdout, nhưng lần này nó sẽ xóa tệp gốc. Tôi đề nghị bạn không sử dụng nó.

Hãy xem xét một kịch bản shell:

#!/bin/sh

if [[ $# -eq 0 ]]
then
  echo "Usage: $0 [file ...]"
  exit 1
fi

for i in "$@"
do
  perl -MList::Util -e 'print List::Util::shuffle <>' $i > $i.new
  if [[ `wc -c $i` -eq `wc -c $i.new` ]]
  then
    mv $i.new $i
  else
    echo "Error for file $i!"
  fi
done

Chưa được kiểm tra, nhưng hy vọng sẽ hoạt động.

Ừm, đừng quên

sort --random-sort

shuf là cách tốt nhất.

sort -Rchậm một cách đau đớn. Tôi vừa cố gắng sắp xếp tệp 5GB. Tôi đã bỏ cuộc sau 2,5 giờ. Sau đó, shufsắp xếp nó trong một phút.

cat yourfile.txt | while IFS= read -r f; do printf "%05d %s\n" "$RANDOM" "$f"; done | sort -n | cut -c7-

Đọc tệp, thêm vào trước mỗi dòng một số ngẫu nhiên, sắp xếp tệp trên các tiền tố ngẫu nhiên đó, cắt các tiền tố sau đó. Một lớp lót sẽ hoạt động trong bất kỳ lớp vỏ bán hiện đại nào.

CHỈNH SỬA: kết hợp nhận xét của Richard Hansen.

Một lớp lót cho python:

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

Và để in chỉ một dòng ngẫu nhiên:

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

Nhưng hãy xem bài đăng này để biết những hạn chế của python random.shuffle(). Nó sẽ không hoạt động tốt với nhiều (hơn 2080) phần tử.

Liên quan đến câu trả lời của Jim:

Của tôi ~/.bashrcchứa những thứ sau:

unsort ()
{
    LC_ALL=C sort -R "$@"
}

Với cách sắp xếp của GNU coreutils, -R= --random-sort, tạo ra một hàm băm ngẫu nhiên của mỗi dòng và sắp xếp theo nó. Hàm băm ngẫu nhiên sẽ không thực sự được sử dụng trong một số ngôn ngữ trong một số phiên bản cũ hơn (lỗi), khiến nó trả về đầu ra được sắp xếp bình thường, đó là lý do tại sao tôi đặt LC_ALL=C.

Liên quan đến câu trả lời của Chris:

perl -MList::Util=shuffle -e'print shuffle<>'

là một lớp lót ngắn hơn một chút. ( -Mmodule=a,b,clà viết tắt của -e 'use module qw(a b c);'.)

Lý do đơn giản -ikhông hoạt động cho việc xáo trộn tại chỗ là bởi vì Perl hy vọng rằng điều đó printxảy ra trong cùng một vòng lặp mà tệp đang được đọc và print shuffle <>không xuất ra cho đến khi tất cả các tệp đầu vào đã được đọc và đóng.

Như một giải pháp ngắn hơn,

perl -MList::Util=shuffle -i -ne'BEGIN{undef$/}print shuffle split/^/m'

sẽ xáo trộn các tệp tại chỗ. ( -ncó nghĩa là "quấn mã trong một while (<>) {...}vòng lặp; BEGIN{undef$/}làm cho Perl hoạt động trên các tệp tại một thời điểm thay vì các dòng tại một thời điểm và split/^/mcần thiết vì $_=<>đã được thực hiện ngầm với toàn bộ tệp thay vì các dòng.)

Khi tôi cài đặt coreutils với homebrew

brew install coreutils

shuftrở nên có sẵn dưới dạng n.

Mac OS X với DarwinPorts:

sudo port install unsort
cat $file | unsort | ...

FreeBSD có tiện ích ngẫu nhiên của riêng nó:

cat $file | random | ...

Nó nằm trong / usr / games / random, vì vậy nếu bạn chưa cài đặt trò chơi, bạn sẽ không gặp may.

Bạn có thể cân nhắc cài đặt các cổng như textproc / rand hoặc textproc / msort. Những thứ này cũng có thể có sẵn trên Linux và / hoặc Mac OS X, nếu mối quan tâm về tính di động.

Trên OSX, tải trang mới nhất từ http://ftp.gnu.org/gnu/coreutils/ và những thứ như

./configure make sudo make install

... nên cung cấp cho bạn / usr / local / bin / sort --random-sort

mà không làm rối tung / usr / bin / sort

Hoặc tải nó từ MacPorts:

$ sudo port install coreutils

và / hoặc

$ /opt/local//libexec/gnubin/sort --random-sort