Làm cách nào để sử dụng gửi / nhận btrfs để truyền ảnh chụp nhanh sao lưu qua kết nối mạng chậm và không đáng tin cậy?

11

Tôi muốn sử dụng tính năng gửi / nhận của btrfs để truyền các ảnh chụp sao lưu qua kết nối khá chậm (hạt giống ban đầu khoảng 50 - 100 GB, băng thông ngược dòng ~ 1-2 MBit / giây) và không đáng tin cậy (gián đoạn cưỡng bức hàng ngày ở cả hai đầu).

Tôi thấy các yêu cầu sau:

chuyển mã hóa (thường đạt được bằng cách sử dụng đường hầm SSH)
mạnh mẽ để kết nối bị gián đoạn

Có vẻ như ZFS có thể tự động tiếp tục chuyển bị gián đoạn , tương tự như cách rsync thực hiện. Điều này cũng áp dụng cho BTRFS? Các gửi / nhận trang wiki là không hữu ích đối với chuyển bị gián đoạn với. Nếu btrfs sẽ tiếp tục chuyển bị gián đoạn, tất cả những gì tôi phải làm là sử dụng đường hầm SSH và tiếp tục nếu bị gián đoạn.

Nếu không, tôi phải sử dụng một số bộ đệm ở giữa để đảm bảo các kết nối btrfs tồn tại bị gián đoạn hoặc khiến cả hai máy chủ gần nhau để gieo hạt (sẽ là một vấn đề liên quan đến các tệp được thêm vào vượt trội trong việc truyền tải hàng ngày năng lực và gửi ảnh chụp nhanh).

Tôi sẽ phải cân nhắc điều gì khi truyền hạt giống và ảnh chụp nhanh?

linux backup btrfs

— Jens Erat
nguồn

8

Tôi đã sử dụng "btrfs send" để sao lưu trong một thời gian. Nó không xử lý tiếp tục chuyển giao bị hỏng. Tôi đã viết một tiện ích mà không chuyển hồ sơ, và tự động đồng bộ ảnh chụp nhanh trong hệ thống tập tin địa phương btrfs đến Amazon S3. Bạn có thể dùng thử để xem nó có giúp ích không, và tôi thích mọi phản hồi! Đó là cả trên GitHub ( https://github.com/AmesCornish/butterink ) và PyPi ( https://pypi.python.org/pypi/butterink/ ).

— người dùng80646
nguồn

Chắc chắn sẽ có một cái nhìn vào đó ngay khi tôi có thời gian rảnh. Readme của bạn nói rằng ssh-backend chưa được triển khai, điều này có nghĩa là đồng bộ hóa với hệ thống tập tin btrfs từ xa vẫn còn trong hàng đợi?

— Jens Erat

Nghe có vẻ hay, nhưng thật không may, tôi cũng cần SSH cho nó hữu ích.

— Matthias Urlichs

2

Phần cuối SSH hiện được triển khai (tính đến 0,6)

— user80646 30/03/2015

4

"Gửi" đến một tập tin hoặc qua một đường ống. "Nhận" với tệp hoặc đường ống ở đầu bên kia. Với một kết nối đáng ngờ, bạn có thể sẽ làm tốt nhất với các tệp và truyền tải như rsync.

— người dùng66738
nguồn

1

đúng, thậm chí có thể chia tệp thành nhiều phần. Có thể tốt hơn cho rsync để tiếp tục chuyển khoản bị gián đoạn (hoặc sử dụng --partial với rsync)

— ascobol

1

Ngoài buttersinksơ yếu lý lịch S3, btrbkhỗ trợ:

Tiếp tục sao lưu (nếu không thể truy cập mục tiêu sao lưu trong một thời gian)

Chỉnh sửa: Tôi đã được biết rằng việc chuyển các ảnh chụp nhanh riêng lẻ không được tiếp tục btrbk, tuy nhiên, nó sẽ xử lý mục tiêu sao lưu ngoại tuyến (khởi động lại việc chuyển ảnh chụp nhanh bị gián đoạn).

— Tom Hale
nguồn

Tôi chắc chắn sẽ xem xét btrbkvà cách nó thực hiện tiếp tục chuyển tiền, mặc dù tôi hơi không thích lựa chọn ngôn ngữ lập trình - nhưng dường như nó thực hiện khá nhiều tính năng mà tôi yêu cầu.

— Jens Erat