Cách nhanh nhất và đáng tin cậy nhất để phân chia tệp nhị phân 50 GB thành các khối 5 GB trở xuống, sau đó lắp lại sau đó là gì?

Các máy chủ của chúng tôi đang chạy Ubuntu Linux và tệp nhị phân là kết xuất BSON của bộ sưu tập MongoDB lớn. Làm thế nào đáng tin cậy là một công cụ như thế splitnào? Có cách nào nhanh hơn hay tốt hơn để làm điều này?

Để chia, tách -b

Để tham gia, chỉ cần cat.

AFAIK họ hoàn toàn đáng tin cậy, và tôi nghi ngờ có một cái gì đó hiệu quả hơn.

chia rất đáng tin cậy. Chúng tôi sử dụng nó để chuyển các tệp nhật ký lớn và nó hoạt động tốt với tối đa vài GB (dù sao không phải là 50 gb).

Tôi tin rằng bạn có thể thử sử dụng phần tách cho yêu cầu của bạn và cho chúng tôi biết.

Chia thành 5GB

chia --byte = 5G đầu vào

Nó sẽ chia thành nhiều tệp 5GB và đặt tên là xaa, xab, xac, .... v.v.

Kết hợp

mèo x *> outfile

bằng cách này, bạn có thể ghép thành một tệp duy nhất ở đầu kia.

Nếu bạn đã cài đặt rar, nó hoạt động rất tốt với tôi:

Tách

rar a -m0 -v5000m newfilename giantfile.foo

• a = thêm tệp để lưu trữ
• m0 = không nén
• v5000m = chia thành các khối 5000 megabyte

Để tập hợp lại:

unrar x newfilename.*

• x = giải nén

Lợi ích:

• CRC về nội dung của kho lưu trữ tách,
• thứ tự tách tập tin được giữ tự động,
• nhiều tập tin và thư mục có thể được bao gồm.

split& cathoàn toàn đáng tin cậy. Bạn cũng có thể nén nội tuyến như thế này. Giả sử tệp đầu vào của bạn là dump.bson:

gzip < dump.bson | split -b 32M - dump.bson.gz.

Và sau đó phục hồi với điều này:

cat dump.bson.gz.* | gunzip > dump.bson

Mẹo, điều này cũng hoạt động tốt với xz(dec)thay vìg(un)zip