Sao chép thùng s3 nhanh hơn

Tôi đã cố gắng tìm một công cụ dòng lệnh tốt hơn để sao chép nhóm so với s3cmd . s3cmdcó thể sao chép các nhóm mà không cần phải tải xuống và tải lên từng tệp. Lệnh tôi thường chạy để sao chép các nhóm bằng s3cmd là:

s3cmd cp -r --acl-public s3://bucket1 s3://bucket2

Điều này hoạt động, nhưng nó rất chậm vì nó sao chép từng tệp qua API một. Nếu s3cmdcó thể chạy ở chế độ song song, tôi sẽ rất vui.

Có các tùy chọn khác có sẵn dưới dạng công cụ dòng lệnh hoặc mã mà mọi người sử dụng để sao chép nhóm nhanh hơn s3cmdkhông?

Chỉnh sửa: Có vẻ như s3cmd-modification chính xác là những gì tôi đang tìm kiếm. Quá tệ là nó không hoạt động. Có sự lựa chọn nào khác không?

AWS CLI dường như thực hiện công việc một cách hoàn hảo và có phần thưởng là một công cụ được hỗ trợ chính thức.

aws s3 sync s3://mybucket s3://backup-mybucket

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

Hỗ trợ chuyển đồng thời theo mặc định. Xem http://docs.aws.amazon.com/cli/latest/topic/s3-config.html#max-concurrent-requests

Để nhanh chóng chuyển một số lượng lớn các tệp nhỏ, hãy chạy tập lệnh từ một phiên bản EC2 để giảm độ trễ và tăng max_concurrent_requestsđể giảm tác động của độ trễ. Ví dụ:

aws configure set default.s3.max_concurrent_requests 200

Nếu không phiền khi sử dụng bảng điều khiển AWS, bạn có thể:

1. Chọn tất cả các tệp / thư mục trong nhóm đầu tiên
2. Nhấp vào Hành động> Sao chép
3. Tạo một nhóm mới và chọn nó
4. Nhấp vào Hành động> Dán

Nó vẫn khá chậm, nhưng bạn có thể để nó một mình và để nó làm việc của mình.

Tôi đã thử sao chép hai nhóm bằng bảng điều khiển web AWS, s3cmdvà AWS CLI. Mặc dù các phương pháp này hầu hết đều hoạt động, nhưng chúng rất chậm.

Sau đó, tôi tìm thấy s3s3mirror: một công cụ chuyên dụng để đồng bộ hóa hai nhóm S3. Nó đa luồng và nhanh hơn rất nhiều so với các cách tiếp cận khác mà tôi đã thử. Tôi nhanh chóng di chuyển Giga-byte dữ liệu từ vùng AWS này sang vùng AWS khác.

Hãy xem tại https://github.com/cobbzilla/s3s3mirror hoặc tải xuống vùng chứa Docker từ https://registry.hub.docker.com/u/pmoust/s3s3mirror/

Đối với giải pháp adhoc, sử dụng aws cliđể đồng bộ hóa giữa các nhóm:

aws s3 synctốc độ phụ thuộc vào:
- độ trễ cho một lệnh gọi API tới điểm cuối S3
- số lượng lệnh gọi API được thực hiện đồng thời

Để tăng tốc độ đồng bộ:
- chạy aws s3 synctừ phiên bản AWS (c3.large trên FreeBSD là OK ;-))
- cập nhật ~ / .aws / config với:
- max_concurrent_requests = 128
-max_queue_size = 8096

với cấu hình và loại phiên bản sau, tôi có thể đồng bộ nhóm (309GB, 72K tệp, us-East-1) trong vòng 474 giây.

Để có giải pháp chung hơn, hãy xem xét - sao chép AWS DataPipeLine hoặc S3 chéo vùng.

Vì đây là lần đánh đầu tiên của Google về chủ đề này, thêm thông tin bổ sung.

'Cyno' đã tạo ra một phiên bản mới hơn của sửa đổi s3cmd, hiện hỗ trợ đồng bộ hóa bucket-to-bucket song song. Chính xác là những gì tôi đang chờ đợi.

Yêu cầu kéo có tại https://github.com/pcorliss/s3cmd-modification/pull/2 , phiên bản của anh ấy tại https://github.com/pearltrees/s3cmd-modification

Tôi không biết bất kỳ công cụ dòng lệnh S3 nào khác nhưng nếu không có gì xuất hiện ở đây, có thể dễ dàng nhất để viết cho riêng bạn.

Chọn bất kỳ ngôn ngữ nào và Amazon SDK / Bộ công cụ mà bạn thích. Sau đó, bạn chỉ cần liệt kê / truy xuất nội dung nhóm nguồn và sao chép từng tệp (Rõ ràng là song song)

Nhìn vào nguồn cho s3cmd-modification (và tôi thừa nhận rằng tôi không biết gì về python), có vẻ như họ chưa song song mã bucket-to-bucket nhưng có lẽ bạn có thể sử dụng mã tải lên / tải xuống song song chuẩn làm điểm bắt đầu làm cái này.

một đơn giản aws s3 cp s3://[original-bucket] s3://[backup-bucket] --recursivehoạt động tốt (giả sử bạn đã thiết lập cli)