Cách lấy mẫu ngẫu nhiên một tập hợp con của tệp

Có bất kỳ lệnh Linux nào người ta có thể sử dụng để lấy mẫu tập hợp con của một tập tin không? Chẳng hạn, một tệp chứa một triệu dòng và chúng tôi muốn lấy mẫu ngẫu nhiên chỉ một nghìn dòng từ tệp đó.

Đối với ngẫu nhiên, tôi có nghĩa là mọi dòng đều có cùng xác suất được chọn và không có dòng nào được chọn là lặp đi lặp lại.

headvà tailcó thể chọn một tập hợp con của tệp nhưng không ngẫu nhiên. Tôi biết tôi luôn có thể viết một kịch bản python để làm như vậy nhưng chỉ cần tự hỏi là có một lệnh cho việc sử dụng này.

Các shuflệnh (một phần của coreutils) có thể làm điều này:

shuf -n 1000 file

Và ít nhất là đối với các phiên bản không cổ xưa (được thêm vào trong một cam kết từ năm 2013 ), sẽ sử dụng lấy mẫu hồ chứa khi thích hợp, nghĩa là nó không nên hết bộ nhớ và đang sử dụng thuật toán nhanh.

Nếu bạn có một tệp rất lớn (đó là lý do phổ biến để lấy mẫu), bạn sẽ thấy rằng:

1. shuf cạn kiệt bộ nhớ
2. Sử dụng $RANDOMsẽ không hoạt động chính xác nếu tệp vượt quá 32767 dòng

Nếu bạn không cần "chính xác" n dòng được lấy mẫu, bạn có thể lấy mẫu theo tỷ lệ như sau:

cat input.txt | awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}' > sample.txt

Điều này sử dụng bộ nhớ không đổi , lấy mẫu 1% tệp (nếu bạn biết số dòng của tệp, bạn có thể điều chỉnh hệ số này để lấy mẫu gần với số lượng dòng giới hạn) và hoạt động với mọi kích thước tệp nhưng sẽ không trả về một số dòng chính xác , chỉ là một tỷ lệ thống kê.

Lưu ý: Mã đến từ: https://stackoverflow.com/questions/692312/randomly-pick-lines-from-a-file-without-slurping-it-with-unix

Tương tự như giải pháp xác suất của @ Txangel nhưng tiếp cận nhanh hơn 100 lần.

perl -ne 'print if (rand() < .01)' huge_file.csv > sample.csv

Nếu bạn cần hiệu suất cao, kích thước mẫu chính xác và sẵn lòng sống với khoảng cách mẫu ở cuối tệp, bạn có thể thực hiện một số thao tác như sau (lấy 1000 dòng từ tệp dòng 1m):

perl -ne 'print if (rand() < .0012)' huge_file.csv | head -1000 > sample.csv

.. hoặc thực sự chuỗi một phương pháp mẫu thứ hai thay vì head.

Trong trường hợp shuf -nlừa trên các tệp lớn hết bộ nhớ và bạn vẫn cần một mẫu có kích thước cố định và một tiện ích bên ngoài có thể được cài đặt, sau đó thử mẫu :

$ sample -N 1000 < FILE_WITH_MILLIONS_OF_LINES 

Thông báo trước là mẫu (1000 dòng trong ví dụ) phải vừa với bộ nhớ.

Tuyên bố miễn trừ trách nhiệm: Tôi là tác giả của phần mềm được đề xuất.

Không biết bất kỳ lệnh nào có thể làm những gì bạn yêu cầu nhưng đây là một vòng lặp tôi có thể thực hiện công việc:

for i in `seq 1000`; do sed -n `echo $RANDOM % 1000000 | bc`p alargefile.txt; done > sample.txt

sedsẽ chọn một dòng ngẫu nhiên trên mỗi 1000 lượt. Có thể có những giải pháp hiệu quả hơn.

Bạn có thể lưu mã theo dõi trong một tệp (ví dụ randextract.sh) và thực thi như sau:

randextract.sh file.txt

---- BẮT ĐẦU FILE ----

#!/bin/sh -xv

#configuration MAX_LINES is the number of lines to extract
MAX_LINES=10

#number of lines in the file (is a limit)
NUM_LINES=`wc -l $1 | cut -d' ' -f1`

#generate a random number
#in bash the variable $RANDOM returns diferent values on each call
if [ "$RANDOM." != "$RANDOM." ]
then
    #bigger number (0 to 3276732767)
    RAND=$RANDOM$RANDOM
else
    RAND=`date +'%s'`
fi 

#The start line
START_LINE=`expr $RAND % '(' $NUM_LINES - $MAX_LINES ')'`

tail -n +$START_LINE $1 | head -n $MAX_LINES

---- KẾT THÚC HẾT ----

Nếu bạn biết số lượng dòng trong tệp (như 1e6 trong trường hợp của bạn), bạn có thể làm:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Nếu không, bạn luôn có thể làm

awk -v n="$(wc -l < file)" -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Điều đó sẽ thực hiện hai lần trong tệp, nhưng vẫn tránh lưu trữ toàn bộ tệp trong bộ nhớ.

Một ưu điểm khác so với GNU shuflà nó bảo toàn thứ tự các dòng trong tệp.

Lưu ý rằng nó giả sử n là số lượng dòng trong tệp. Nếu bạn muốn in pra những dòng đầu tiên n của tệp (có khả năng nhiều dòng hơn), bạn cần dừng lại awkở dòng n^thứ như:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}
  !n {exit}' < file

Tôi thích sử dụng awk cho việc này khi tôi muốn duy trì một hàng tiêu đề và khi mẫu có thể là một tỷ lệ phần trăm xấp xỉ của tệp. Hoạt động cho các tệp rất lớn:

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print > "data-sample.txt"}' data.txt

Hoặc như thế này:

LINES=$(wc -l < file)  
RANDLINE=$[ $RANDOM % $LINES ]  
tail -n $RANDLINE  < file|head -1  

Từ trang bash man:

        RANDOM Mỗi lần tham số này được tham chiếu, một số nguyên ngẫu nhiên
              từ 0 đến 32767 được tạo ra. Trình tự ngẫu nhiên
              số có thể được khởi tạo bằng cách gán giá trị cho RAN‐
              DOM. Nếu RANDOM không được đặt, nó sẽ mất tính đặc biệt của nó‐
              quan hệ, ngay cả khi nó được thiết lập lại sau đó.

Nếu kích thước tệp của bạn không lớn, bạn có thể sử dụng Sắp xếp ngẫu nhiên. Điều này mất nhiều thời gian hơn shuf, nhưng nó ngẫu nhiên toàn bộ dữ liệu. Vì vậy, bạn có thể dễ dàng thực hiện các thao tác sau để sử dụng đầu như bạn yêu cầu:

sort -R input | head -1000 > output

Điều này sẽ sắp xếp các tập tin ngẫu nhiên và cung cấp cho bạn 1000 dòng đầu tiên.

Như đã đề cập trong câu trả lời được chấp nhận, GNU shufhỗ trợ lấy mẫu ngẫu nhiên đơn giản ( shuf -n) khá tốt. Nếu các phương pháp lấy mẫu ngoài các phương pháp được hỗ trợ shuflà cần thiết, hãy xem xét mẫu tsv từ Tiện ích TSV của eBay . Nó hỗ trợ một số chế độ lấy mẫu bổ sung, bao gồm lấy mẫu ngẫu nhiên có trọng số, lấy mẫu Bernoulli và lấy mẫu riêng biệt. Hiệu suất tương tự như GNU shuf(cả hai đều khá nhanh). Tuyên bố miễn trừ trách nhiệm: Tôi là tác giả.