Nối các tệp lớn với nhau mà không cần sao chép chúng

Có 5 tệp rất lớn (file1, file2, .. file5) mỗi tệp khoảng 10G và dung lượng trống rất thấp còn lại trên đĩa và tôi cần ghép tất cả các tệp này thành một. Không cần phải giữ các tệp gốc, chỉ có tệp cuối cùng.

Kết nối thông thường sẽ diễn ra cattheo trình tự cho các tệp file2.. file5:

cat file2 >> file1 ; rm file2

Thật không may, cách này đòi hỏi ít nhất 10G dung lượng trống mà tôi không có. Có cách nào để nối các tệp mà không cần sao chép thực tế nhưng nói với hệ thống tệp bằng cách nào đó rằng tệp1 không kết thúc ở đầu tệp1 cuối và tiếp tục khi bắt đầu tệp2?

ps. hệ thống tập tin là ext4 nếu vấn đề đó.

AFAIK, thật không may là không thể cắt một tập tin ngay từ đầu (điều này có thể đúng với các công cụ tiêu chuẩn nhưng đối với cấp độ tòa nhà xem ở đây ). Nhưng với việc thêm một số phức tạp, bạn có thể sử dụng cách cắt ngắn thông thường (cùng với các tệp thưa thớt): Bạn có thể ghi vào cuối tệp đích mà không phải ghi tất cả dữ liệu ở giữa.

Giả sử đầu tiên cả hai tệp chính xác là 5GiB (5120 MiB) và bạn muốn di chuyển 100 MiB cùng một lúc. Bạn thực hiện một vòng lặp bao gồm

1. sao chép một khối từ cuối tệp nguồn vào cuối tệp đích (tăng dung lượng đĩa đã sử dụng)

2. cắt bớt tệp nguồn theo một khối (giải phóng không gian đĩa)

   for((i=5119;i>=0;i--)); do
     dd if=sourcefile of=targetfile bs=1M skip="$i" seek="$i" count=1
     dd if=/dev/zero of=sourcefile bs=1M count=0 seek="$i"
   done
   

Nhưng hãy thử với các tệp thử nghiệm nhỏ hơn trước, vui lòng ...

Có lẽ các tệp không có cùng kích thước cũng như bội số của kích thước khối. Trong trường hợp đó, việc tính toán bù đắp trở nên phức tạp hơn. seek_bytesvà skip_bytesnên được sử dụng sau đó.

Nếu đây là con đường bạn muốn đi nhưng cần giúp đỡ để biết chi tiết thì hãy hỏi lại.

Cảnh báo

Tùy thuộc vào ddkích thước khối, tập tin kết quả sẽ là một cơn ác mộng phân mảnh.

Thay vì sắp xếp các tệp lại với nhau thành một tệp, có thể mô phỏng một tệp duy nhất với một ống có tên, nếu chương trình của bạn không thể xử lý nhiều tệp.

mkfifo /tmp/file
cat file* >/tmp/file &
blahblah /tmp/file
rm /tmp/file

Như Hauke ​​gợi ý, losetup / dmsetup cũng có thể hoạt động. Một thử nghiệm nhanh chóng; Tôi đã tạo 'file1..file4' và với một chút nỗ lực, đã làm:

for i in file*;do losetup -f ~/$i;done

numchunks=3
for i in `seq 0 $numchunks`; do
        sizeinsectors=$((`ls -l file$i | awk '{print $5}'`/512))
        startsector=$(($i*$sizeinsectors))
        echo "$startsector $sizeinsectors linear /dev/loop$i 0"
done | dmsetup create joined

Sau đó, / dev / dm-0 chứa một thiết bị khối ảo với tệp của bạn dưới dạng nội dung.

Tôi đã không kiểm tra điều này tốt.

Chỉnh sửa khác: Kích thước tệp phải chia đều cho 512 hoặc bạn sẽ mất một số dữ liệu. Nếu có, thì bạn tốt. Tôi thấy ông cũng lưu ý rằng dưới đây.

Bạn sẽ phải viết một cái gì đó sao chép dữ liệu thành từng bó lớn nhất bằng dung lượng trống mà bạn có. Nó sẽ hoạt động như thế này:

• Đọc một khối dữ liệu từ file2(sử dụng pread()bằng cách tìm kiếm trước khi đọc đến vị trí chính xác).
• Nối khối vào file1.
• Sử dụng fcntl(F_FREESP)để phân bổ không gian từ file2.
• Nói lại

Tôi biết đó là một cách giải quyết nhiều hơn những gì bạn yêu cầu, nhưng nó sẽ giải quyết vấn đề của bạn (và với sự phân mảnh nhỏ hoặc khăn trùm đầu):

#step 1
mount /path/to/... /the/new/fs #mount a new filesystem (from NFS? or an external usb disk?)

và sau đó

#step 2:
cat file* > /the/new/fs/fullfile

hoặc, nếu bạn nghĩ rằng nén sẽ giúp:

#step 2 (alternate):
cat file* | gzip -c - > /the/new/fs/fullfile.gz

Sau đó (và CHỈ sau đó), cuối cùng

#step 3:
rm file*
mv /the/new/fs/fullfile  .   #of fullfile.gz if you compressed it