Phương pháp tốt nhất để thu thập mẫu ngẫu nhiên từ bộ sưu tập tệp

Giả sử có một thư mục chứa 300 tệp dữ liệu. Tôi muốn chọn ngẫu nhiên 200 trong số các tệp đó và di chuyển chúng vào một thư mục khác. Có cách nào để làm điều đó trong Unix / Linux không?

Nếu hệ thống của bạn có shuf, bạn có thể sử dụng điều này khá thuận tiện (thậm chí xử lý tên tệp xấu xí):

shuf -zen200 source/* | xargs -0 mv -t dest

Nếu bạn không có shufnhưng phải sortcó -R, điều này sẽ hoạt động:

find source -type f -print0 | sort -Rz | cut -d $'\0' -f-200 | xargs -0 mv -t dest

files=(*)
for (( i=0; i<200; i++ )); do
    keys=("${!files[@]}")
    rnd=$(( RANDOM % ${#keys[@]} ))
    key=${keys[$rnd]}
    mv "${files[$key]}" "$otherdir"
    unset files[$key]
done

Đặt tất cả tên tệp vào một mảng có tên "files" trong bash:

files=( * )

kích thước của mảng:

echo ${#files[@]}

xác định 2/3 trong số chúng là cỡ mẫu:

take=$((2*${#files[@]}/3)) 

for i in $(seq 1 $take)
do
    r=$((RANDOM%${#files[@]})) 
    echo ${files[r]}
done

Điều này sẽ chọn bản sao, và đang không thử nghiệm với tên tập tin bằng các đoạn trống và như vậy.

Cách đơn giản nhất để tránh trùng lặp là lặp lại tất cả các tệp và chọn từng tệp có 2/3 cơ hội, nhưng điều này không nhất thiết sẽ dẫn đến 200 tệp.

Điều này sẽ xóa một tệp nếu nó được chọn từ danh sách và đáp ứng các yêu cầu của bạn:

#!/bin/bash
files=( * )
# define 2/3 of them as sample size:
take=$((2*${#files[@]}/3)) 

while (( i < $take ))
do
    r=$((RANDOM%${#files[@]})) 
    f=${files[r]}
    if [[ -n $f ]]
    then 
        i=$((i+1))    
        echo ${files[r]}
        unset files[r]    
    fi
done

Nếu điều này cần phải được thống kê ngẫu nhiên, bạn không nên sử dụng RANDOM % ${#keys[@]}. Xem xét:

1. $RANDOM có 32768 giá trị duy nhất
2. Lựa chọn đầu tiên là 1 trong số 300 yếu tố
3. 32768 = 109 * 300 + 68

Do đó, khi chọn mục đầu tiên, sẽ có 110/32768 ~ = 0,3569% cơ hội cho mỗi trong số 68 yếu tố đầu tiên và 109/236868 = = 0,3264% cơ hội cho mỗi trong số 232 yếu tố khác được chọn. Chọn được lặp đi lặp lại nhiều lần với các cơ hội khác nhau, nhưng thiên về các yếu tố đầu tiên bất cứ khi nào 32768 % ${#keys[@]} -ne 0, do đó, các hợp chất lỗi.

Điều này nên được thiên vị và hoạt động với bất kỳ tên tệp nào:

while IFS= read -r -d '' -u 9
do
    mv -- "$REPLY" /target/dir
done 9< <(find /source/dir -mindepth 1 -print0 | shuf -n 200 -z)

Giải pháp của Kevin hoạt động rất tốt! Một cái gì đó khác mà tôi đã sử dụng rất nhiều bởi vì nó dễ nhớ ra khỏi đỉnh đầu của tôi là một cái gì đó như:

cp `ls | shuf -n 200` destination

Một lớp lót trong bash:

ls original_directory/|sort -R|head -number_of_files_to_move|while read file; do cp "new_directory/"$file test; done