Làm thế nào để tạo một tệp lớn trong UNIX?

Tôi tìm thấy một cách trong Windows để làm điều đó

echo "This is just a sample line appended  to create a big file. " > dummy.txt
for /L %i in (1,1,21) do type dummy.txt >> dummy.txt

http://www.windows-commandline.com/how-to-create-large-dummy-file/

Có cách nào trong UNIX để sao chép một tập tin, nối thêm và sau đó lặp lại quá trình không? Một cái gì đó như thế for .. cat file1.txt > file1.txtnào?

yes "Some text" | head -n 100000 > large-file

Với csh/ tcsh:

repeat 10000 echo some test > large-file

Với zsh:

{repeat 10000 echo some test} > large-file

Trên các hệ thống GNU, xem thêm:

seq 100000 > large-file

Hoặc là:

truncate -s 10T large-file

(tạo tệp thưa thớt 10TiB (rất lớn nhưng không chiếm bất kỳ dung lượng nào trên đĩa)) và các lựa chọn thay thế khác được thảo luận tại "Tạo tệp thử nghiệm có nhiều byte bằng 0" .

Làm cat file >> filesẽ là một ý tưởng tồi.

Đầu tiên, nó không hoạt động với một số cattriển khai từ chối đọc các tệp giống như tệp đầu ra của chúng. Nhưng ngay cả khi bạn làm việc xung quanh nó bằng cách thực hiện cat file | cat >> file, nếu filelớn hơn catbộ đệm bên trong, điều đó sẽ gây ra catchạy trong một vòng lặp vô hạn vì cuối cùng nó sẽ đọc dữ liệu mà nó đã viết trước đó.

Trên các hệ thống tệp được hỗ trợ bởi ổ cứng quay, nó cũng sẽ không hiệu quả (sau khi đạt kích thước lớn hơn khả năng được lưu trong bộ nhớ) vì ổ đĩa sẽ cần phải qua lại giữa vị trí đọc dữ liệu, và đó là nơi để viết nó.

Bạn có thể tạo một tệp lớn trên Solaris bằng cách sử dụng:

mkfile 10g /path/to/file

Một cách khác hoạt động trên Solaris (và Linux):

truncate -s 10g /path/to file

Cũng có thể sử dụng:

dd if=/dev/zero of=/path/to/file bs=1048576 count=10240

Cách nhanh nhất có thể để tạo một tệp lớn trong hệ thống Linux là fallocate:

sudo fallocate -l 2G bigfile

fallocatethao tác hệ thống tập tin và không thực sự ghi vào các thành phần dữ liệu theo mặc định và như vậy là cực kỳ nhanh. Nhược điểm của nó là nó phải được chạy như root.

Chạy liên tiếp trong một vòng lặp, bạn có thể điền vào hệ thống tập tin lớn nhất trong vài giây.

Từ man fallocate

fallocate được sử dụng để thao tác không gian đĩa được phân bổ cho một tệp, hoặc để phân bổ hoặc phân bổ nó.
Đối với các hệ thống tập tin hỗ trợ cuộc gọi hệ thống ngụy biện, việc sắp xếp trước được thực hiện nhanh chóng bằng cách phân bổ các khối và đánh dấu chúng là chưa được khởi tạo, không yêu cầu IO cho các khối dữ liệu. Điều này nhanh hơn nhiều so với việc tạo một tệp bằng cách điền vào nó bằng số không.
Được hỗ trợ cho XFS (kể từ Linux 2.6,38), ext4 (kể từ Linux 3.0), Btrfs (kể từ Linux 3.7) và tmpfs (kể từ Linux 3.5).

Điều này sẽ tiếp tục cho đến khi bạn CTRL-C:

yes This is stuff that I want to put into my file... >> dummy.txt

Hãy cẩn thận, bởi vì bạn có thể nhận được hàng trăm ngàn dòng / giây ...

Từ man yes:

yes - output a string repeatedly until killed

Nếu tôi hiểu bạn một cách chính xác, bạn đang tìm kiếm một cái gì đó như:

echo "test line" > file;
for i in {1..21}; do echo "test line" >> file; done

Điều đó sẽ tạo ra một tệp với 22 lần lặp lại "dòng thử nghiệm". Nếu bạn muốn có một kích thước tệp cụ thể, bạn có thể sử dụng một cái gì đó như thế này (trên Linux). 1024 là một kilobyte:

while [ $(stat -c "%s" file) -le 1024 ]; do echo "test line" >> file; done

Cá nhân, khi tôi muốn tạo một tệp lớn, tôi sử dụng hai tệp và một tệp khác. Bạn có thể lặp lại quy trình cho đến khi bạn đạt được kích thước mong muốn (1MB tại đây):

echo "test line" > file;
while [ $(stat -c "%s" file) -le 1048576 ]; do 
    cat file >> newfile
    cat newfile >> file
done

Lưu ý rằng giải pháp này thường sẽ vượt quá kích thước mong muốn vì nếu tệp nằm dưới giới hạn, mọi thứ sẽ được đưa vào lại.

Cuối cùng, nếu tất cả những gì bạn muốn là một tệp có kích thước mong muốn và không cần nó thực sự chứa bất cứ thứ gì, bạn nên sử dụng truncate:

truncate -s 1M file

Bằng cách chuyển nội dung /dev/urandomđến, headbạn có thể chuyển hướng đầu ra thành một tệp, vì vậy:

 cat /dev/urandom | head --bytes=100 >> foo.bar

Sẽ cung cấp cho bạn một tệp có 100 byte rác.

echo "This is just a sample line appended  to create a big file. " > dummy.txt
i=1
while [ $i -le 21 ]
do
  cat dummy.txt >> bigfile
  cat bigfile > dummy.txt
  (( i++ ))
done

cùng tác dụng của tập lệnh windows của bạn nhưng trong bash, bạn không thể nối trực tiếp một tập tin với chính nó.