Làm cách nào để sao lưu một tệp lớn với các thay đổi nhỏ?

Nếu một tập hợp các tệp (mỗi GB lớn) và mỗi tệp thay đổi một chút mỗi ngày (tại các vị trí ngẫu nhiên, không chỉ thông tin được thêm vào cuối), làm thế nào để có thể sao chép hiệu quả? Ý tôi là, theo nghĩa là chỉ những phần thay đổi mới được cập nhật chứ không phải toàn bộ tập tin. Điều đó có nghĩa là sự khác biệt giữa việc sao chép một số Kb ở đây và ở đó hoặc một số GB.

Các rsync chương trình thực hiện chính xác đó. Từ trang người đàn ông:

Nó nổi tiếng với thuật toán chuyển delta, giúp giảm lượng dữ liệu được gửi qua mạng bằng cách chỉ gửi sự khác biệt giữa các tệp nguồn và các tệp hiện có ở đích. Rsync được sử dụng rộng rãi để sao lưu và phản chiếu và như một lệnh sao chép được cải tiến để sử dụng hàng ngày.

Bạn có thể muốn một chương trình sao lưu trùng lặp hiện đại. Kiểm tra BorgBackup .

Điều này sẽ tạo nhiều bản sao lưu của mỗi phiên bản tệp lớn của bạn, nhưng sẽ chia sẻ nội dung chung giữa các phiên bản khác nhau, do đó, tổng dung lượng được sử dụng cho một phiên bản nhất định của tệp lớn của bạn sẽ chỉ nhiều hơn một chút so với tổng dung lượng đĩa cho một phiên bản, giả sử rằng các phiên bản khác nhau chỉ khác nhau một chút.

Nếu bạn bị giới hạn IO theo bất kỳ cách nào, hãy sử dụng hệ thống tệp như BTRFS hoặc ZFS hỗ trợ trực tiếp các bản sao lưu gia tăng mà không phải tìm sự khác biệt trong các tệp, chẳng hạn như rsyncphải làm gì.

Sử dụng rsyncsẽ chậm và rất chuyên sâu.

Bởi vì nếu bất kỳ ứng dụng nào ghi thay đổi vào các tệp theo bất kỳ cách nào bị giới hạn IO, thì việc sử dụng rsyncsẽ làm mất các chu kỳ IO đáng kể khỏi ứng dụng đó là lý do chính các tệp tồn tại. Và nếu quy trình hoặc hệ thống sao lưu của bạn bị giới hạn IO, rsyncsẽ lấy các chu kỳ IO ra khỏi băng thông sao lưu có sẵn của bạn.

Chỉ cần Google "rsync là chậm". Ví dụ: rsync rất chậm (yếu tố 8 đến 10) so với cp khi sao chép tệp từ nfs-share sang thư mục cục bộ