Đồng bộ hóa với thùng AWS S3


26

Đối với máy chủ, tôi đang lưu trữ một trang web trên tôi muốn sao lưu dữ liệu và cài đặt vào nhóm S3. Tôi phát hiện ra rằng bạn không thể trực tiếp sử dụng rsync để sao lưu vào nhóm S3. Có cách nào khác để đạt được lệnh rsync sau đây để sao lưu dữ liệu vào nhóm S3 không?

rsync -­av ­/Data /s3bucket

Tôi cũng muốn sao lưu cơ sở dữ liệu mysql trên máy chủ đó vào nhóm S3. cách tốt nhất để đạt được điều này là gì?

Câu hỏi cuối cùng, nếu tôi quản lý để sao lưu mọi thứ vào S3. Cách tốt nhất để khôi phục máy chủ nếu nó bị sập hoặc trong trường hợp xấu nhất bị xóa sạch hoàn toàn? Tôi có phải tự lưu ý cài đặt máy chủ và cấu hình lại máy chủ không hoặc có cách nào để sao lưu cái này không?

Câu trả lời:


35

Để giao tiếp với s3 bạn cần có 2 điều

  1. Thông tin người dùng IAM có quyền truy cập đọc-ghi vào s3 xô.
  2. Một khách hàng như aws-cli cho bash, thư viện boto cho python, v.v.

khi bạn có cả hai, bạn có thể chuyển bất kỳ tệp nào từ máy sang s3 và từ s3 sang máy của bạn. Dưới đây là ví dụ cho aws-cli.

  1. để đồng bộ tất cả các tệp trong một thư mục

    aws s3 sync source_folder s3://your_bucket_name/destination_folder/

  2. sao chép một tập tin vào s3

    aws s3 cp source_file s3://your_bucket_name/destination_folder/

chỉ cần thay thế nguồn & đích trong lệnh để tải xuống bất kỳ tệp nào từ s3.

để biết thêm thông tin theo tài liệu aws


1
Lưu ý: trước tiên bạn có thể muốn chạy "aws configure", để lưu thông tin đăng nhập của bạn, để bạn không phải nhập chúng với mỗi đồng bộ hóa.
Tim Burch

1
Thật đáng để chỉ ra rằng rsynctính toán tổng, phía máy khách và phía máy chủ, sau đó so sánh chúng để quyết định chính xác nếu một tệp đã thay đổi. Trong khi đó aws s3 syncthì không - nó sử dụng kích thước tệp và dấu thời gian. Ai đó làm ơn sửa tôi nếu tôi sai?
Lqueryvg

13

Bạn có thể thử rclone .

Thiết lập ( tài liệu ):

rclone config

Đồng bộ hóa ( tài liệu ):

rclone sync /my/local/folder s3service:bucket-name

2
rclonelà một tiện ích nhỏ tuyệt vời!
Andrew Odendaal

1
1+ rclone, tôi thấy nó dễ sử dụng và nhà phát triển dường như cực kỳ tích cực và hấp dẫn
adampski

Nghe có vẻ hay, nhưng bạn có thể giải thích lợi thế của việc sử dụng đồng bộ aws s3 là gì không?
Kutzi

Nó đáp ứng yêu cầu của OP về việc sử dụng rsync. Tôi chưa sử dụng đồng bộ hóa s3 hoặc rclone với s3, vì vậy tôi không biết gì nữa.
Keith
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.