Sử dụng RSYNC với Amazon S3 [đã đóng]

Tôi quan tâm đến việc sử dụng Amazon S3 để sao lưu hình ảnh máy chủ ~ 100gb của chúng tôi (được tạo thông qua các công cụ sao lưu Acronis)

Rõ ràng, việc tải lên S3 này mỗi đêm sẽ rất tốn kém, về băng thông và chi phí. Tôi đang xem xét sử dụng rsync với S3 và đã tìm thấy s3rsync. Tôi chỉ tự hỏi nếu có ai có bất kỳ kinh nghiệm sử dụng này, hoặc bất kỳ tiện ích khác?

Gần đây tôi tình cờ thấy chủ đề này trên Google và có vẻ như phong cảnh đã thay đổi một chút kể từ khi câu hỏi được hỏi. Hầu hết các giải pháp được đề xuất ở đây không còn được duy trì hoặc đã chuyển sang thương mại.

Sau một số thất vọng khi làm việc với FUSE và một số giải pháp khác, tôi đã quyết định viết rsync dòng lệnh của riêng mình cho S3 và Google Storage bằng Python.

Bạn có thể kiểm tra dự án trên GitHub: http://github.com/seedifferently/boto_rsync

Một dự án khác mà gần đây tôi đã nhận thức được là "sự trùng lặp". Nó có vẻ phức tạp hơn một chút và nó có thể được tìm thấy ở đây: http : // d repeatity.nongnu.org/

Hi vọng điêu nay co ich.

CẬP NHẬT

Nhóm Python tại AWS đã làm việc chăm chỉ cho một dự án CLI dựa trên boto cho các dịch vụ đám mây của họ. Trong số các công cụ đi kèm là một giao diện cho S3 sao chép (và theo nhiều cách thay thế) hầu hết các chức năng được cung cấp bởi boto-rsync:

https://github.com/aws/aws-cli

Đặc biệt, synclệnh có thể được cấu hình để hoạt động gần như chính xác như rsync:

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

Tôi cũng đã có may mắn với S3cmd và S3sync , cả hai đều miễn phí.

Tùy thuộc vào cách tạo hình ảnh Acronis của bạn, tôi không chắc bất kỳ loại rsync nào sẽ giúp bạn tiết kiệm băng thông. Hình ảnh Acronis là (các) tệp duy nhất, vì vậy rsync sẽ không thể đọc bên trong chúng để chỉ sao lưu những gì đã thay đổi. Cũng không chắc chắn loại hình máy chủ nào bạn đang tạo, nhưng vì bạn đã nói 100GB tôi sẽ giả sử đầy đủ? Một hình ảnh gia tăng sẽ giảm đáng kể kích thước hình ảnh hàng đêm, do đó tiết kiệm băng thông. Bạn cũng có thể xem xét việc lưu hình ảnh vào một vị trí thay thế so với S3, chẳng hạn như phương tiện băng và lưu trữ ngoài trang web đó.

Tôi chưa bao giờ thử S3rsync.

Tôi đang sử dụng bản sao để sao lưu ngoài trang web của chúng tôi. Nó hỗ trợ sao lưu gia tăng trên S3 mặc dù nó không thực sự tiết kiệm băng thông do giao thức lưu trữ Amazon S3 trong đó bất kỳ sửa đổi tệp nào buộc bạn phải tải lại toàn bộ tệp mới. Dù sao, sự trùng lặp chỉ tải lên sự khác biệt từ bản sao lưu gia tăng cuối cùng.

Với Sao chép, bạn sẽ không cần phải đi qua một máy chủ khác như S3sync, dù sao nếu bạn mã hóa dữ liệu của mình thì cũng đáng để thử S3sync.

S3 cũng có một dịch vụ bổ trợ có tên AWS Nhập / Xuất cho phép bạn gửi ổ USB với dữ liệu 100Gb ban đầu của bạn cho họ và họ sẽ tải nó trên đám mây S3 bằng một số công cụ phụ trợ tại trung tâm dữ liệu của họ. Khi 100Gb của bạn ở đó, bạn có thể thực hiện sao lưu vi sai mỗi đêm để sao lưu mọi thứ đã thay đổi.

Trang web là http://aws.amazon.com/importexport/

Nếu phần lớn dữ liệu của bạn khá tĩnh thì đây sẽ là một lựa chọn tốt, nếu toàn bộ 100Gb dữ liệu thay đổi hàng ngày thì điều này sẽ không giúp bạn nhiều.

Bạn có thể thử minio client aka "mc". mc cung cấp các công cụ tối thiểu để làm việc với hệ thống lưu trữ và hệ thống tệp đám mây tương thích Amazon S3.

mc thực hiện các lệnh sau

  ls        List files and folders.
  mb        Make a bucket or folder.
  cat       Display contents of a file.
  pipe      Write contents of stdin to one or more targets. When no target is specified, it writes to stdout.
  share     Generate URL for sharing.
  cp        Copy one or more objects to a target.
  mirror    Mirror folders recursively from a single source to many destinations.
  diff      Compute differences between two folders.
  rm        Remove file or bucket [WARNING: Use with care].
  access    Manage bucket access permissions.
  session   Manage saved sessions of cp and mirror operations.
  config    Manage configuration file.
  update    Check for a new software update.
  version   Print version.

Bạn có thể sử dụng lệnh mirror để thực hiện thao tác của mình. "localdir" là thư mục cục bộ & S3 [bí danh cho Amazon S3] và tên "remoteDir" của nhóm của bạn trên S3.

$ mc mirror localdir/ S3/remoteDir

Bạn cũng có thể viết một cronjob cho cùng. Ngoài ra, trong trường hợp mạng bị xúc phạm, bạn vẫn có thể sử dụng "phiên $ mc" để khởi động lại quá trình tải lên từ thời điểm cụ thể đó.

Tái bút: Tôi đóng góp cho dự án minio & rất thích nhận phản hồi & đóng góp của bạn. Hy vọng nó giúp.

Phiên bản Jungle Disk Server mới (beta) có thể hữu ích cho bạn. Nó có chức năng chống trùng lặp cấp khối, vì vậy nếu hình ảnh Acronis của bạn có điểm chung, điều này sẽ giảm đáng kể số lượng bạn cần sao lưu. Các tính năng là hoàn hảo để sao lưu máy chủ. Kiểm tra các ghi chú phát hành.

Tôi đã thử nghiệm bản beta trong hai tuần và, ngoài một số vấn đề nhỏ với GUI mà tôi chắc chắn sẽ được khắc phục trong trận chung kết, rất vui mừng về sản phẩm.