Cách tốt nhất để di chuyển tệp giữa các nhóm S3?

Tôi muốn sao chép một số tệp từ nhóm sản xuất sang nhóm phát triển hàng ngày.

Ví dụ: Sao chép productionbucket / feed / feedname / date sang developmentbucket / feed / feedname / date

Bởi vì các tệp tôi muốn nằm rất sâu trong cấu trúc thư mục, quá mất thời gian để đi đến từng thư mục và sao chép / dán.

Tôi đã thử nghiệm với việc gắn các ổ đĩa vào từng nhóm và viết một tập lệnh hàng loạt của windows, nhưng điều đó rất chậm và nó tải tất cả các tệp / thư mục xuống máy chủ cục bộ và sao lưu lại một cách không cần thiết.

Cập nhật

Như đã chỉ ra bởi alberge (+1), ngày nay Giao diện dòng lệnh AWS tuyệt vời cung cấp cách tiếp cận linh hoạt nhất để tương tác với (hầu hết) mọi thứ AWS - trong khi đó nó bao gồm hầu hết các API của dịch vụ và cũng có các lệnh S3 cấp cao hơn để xử lý trường hợp sử dụng cụ thể, hãy xem tham chiếu AWS CLI cho S3 :

• sync - Đồng bộ hóa các thư mục và tiền tố S3. Trường hợp sử dụng của bạn được bao phủ bởi Ví dụ 2 (thêm mịn hạt sử dụng với --exclude, --includevà xử lý tiền tố vv cũng có sẵn):

  Lệnh đồng bộ sau đồng bộ hóa các đối tượng dưới tiền tố và nhóm được chỉ định với các đối tượng dưới tiền tố và nhóm được chỉ định khác bằng cách sao chép đối tượng s3. [...]

  aws s3 sync s3://from_my_bucket s3://to_my_other_bucket
  

Để hoàn thiện, tôi sẽ đề cập rằng các lệnh S3 cấp thấp hơn cũng vẫn có sẵn thông qua lệnh phụ s3api , cho phép dịch trực tiếp bất kỳ giải pháp dựa trên SDK nào sang AWS CLI trước khi áp dụng chức năng cấp cao hơn của nó.

Câu trả lời ban đầu

Việc di chuyển tệp giữa các nhóm S3 có thể thực hiện được nhờ Đối tượng PUT - API Sao chép (tiếp theo là Đối tượng DELETE ):

Việc triển khai hoạt động PUT này tạo ra một bản sao của một đối tượng đã được lưu trữ trong Amazon S3. Thao tác sao chép PUT cũng giống như thực hiện GET và sau đó là PUT. Thêm tiêu đề yêu cầu, x-amz-copy-source, thực hiện thao tác PUT sao chép đối tượng nguồn vào nhóm đích. Nguồn

Có sẵn các mẫu tương ứng cho tất cả AWS SDK hiện có, hãy xem Sao chép đối tượng trong một thao tác . Đương nhiên, giải pháp dựa trên kịch bản sẽ là lựa chọn đầu tiên rõ ràng ở đây, vì vậy Sao chép một đối tượng bằng AWS SDK cho Ruby có thể là một điểm khởi đầu tốt; nếu bạn thích Python thay vào đó, điều tương tự cũng có thể đạt được thông qua boto , hãy xem phương pháp copy_key()trong tài liệu API S3 của boto .

PUT Objectchỉ sao chép tệp, vì vậy bạn sẽ cần xóa tệp qua ảnh DELETE Objecttĩnh sau khi thao tác sao chép thành công, nhưng đó sẽ chỉ là một vài dòng nữa khi tập lệnh tổng thể xử lý nhóm và tên tệp được đặt (cũng có các ví dụ tương ứng , xem ví dụ: Xóa một đối tượng cho mỗi yêu cầu ).

AWS CLI chính thức mới nguyên bản hỗ trợ hầu hết các chức năng của s3cmd. Trước đây tôi đã sử dụng s3cmdhoặc AWS SDK ruby ​​để làm những việc như thế này, nhưng CLI chính thức hoạt động tốt cho việc này.

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

aws s3 sync s3://oldbucket s3://newbucket

Để di chuyển / sao chép từ nhóm này sang nhóm khác hoặc cùng một nhóm, tôi sử dụng công cụ s3cmd và hoạt động tốt. Ví dụ:

s3cmd cp --recursive s3://bucket1/directory1 s3://bucket2/directory1
s3cmd mv --recursive s3://bucket1/directory1 s3://bucket2/directory1

Tôi đã dành nhiều ngày để viết công cụ tùy chỉnh của riêng mình để song song các bản sao cần thiết cho việc này, nhưng sau đó tôi xem qua tài liệu về cách nhận lệnh đồng bộ AWS S3 CLI để đồng bộ hóa các nhóm với tính năng song song lớn . Các lệnh sau sẽ yêu cầu AWS CLI sử dụng 1.000 luồng để thực thi các công việc (mỗi một tệp nhỏ hoặc một phần của bản sao nhiều phần) và xem xét trước 100.000 công việc:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

Sau khi chạy chúng, bạn có thể sử dụng lệnh đồng bộ đơn giản như sau:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

Trên máy m4.xlarge (trong AWS - 4 lõi, RAM 16 GB), đối với trường hợp của tôi (tệp 3-50 GB), tốc độ đồng bộ hóa / sao chép đã tăng từ khoảng 9,5MiB / giây lên 700 + MiB / giây, tăng tốc độ 70 lần so với cấu hình mặc định.

Cập nhật: Lưu ý rằng S3CMD đã được cập nhật qua nhiều năm và những thay đổi này hiện chỉ có hiệu quả khi bạn đang làm việc với nhiều tệp nhỏ. Cũng lưu ý rằng S3CMD trên Windows (chỉ trên Windows) bị giới hạn nghiêm trọng về thông lượng tổng thể và chỉ có thể đạt được khoảng 3Gbps trên mỗi quy trình bất kể kích thước phiên bản hoặc cài đặt bạn sử dụng. Các hệ thống khác như S5CMD cũng gặp vấn đề tương tự. Tôi đã nói chuyện với nhóm S3 về điều này và họ đang xem xét nó.

.NET Ví dụ theo yêu cầu:

using (client)
{
    var existingObject = client.ListObjects(requestForExisingFile).S3Objects; 
    if (existingObject.Count == 1)
    {
        var requestCopyObject = new CopyObjectRequest()
        {
            SourceBucket = BucketNameProd,
            SourceKey = objectToMerge.Key,
            DestinationBucket = BucketNameDev,
            DestinationKey = newKey
        };
        client.CopyObject(requestCopyObject);
    }
}

với khách hàng là một cái gì đó giống như

var config = new AmazonS3Config { CommunicationProtocol = Protocol.HTTP, ServiceURL = "s3-eu-west-1.amazonaws.com" };
var client = AWSClientFactory.CreateAmazonS3Client(AWSAccessKey, AWSSecretAccessKey, config);

Có thể có một cách tốt hơn, nhưng đó chỉ là một số mã nhanh tôi đã viết để chuyển một số tệp.

Nếu bạn có máy chủ lưu trữ unix trong AWS, thì hãy sử dụng s3cmd từ s3tools.org. Thiết lập quyền để khóa của bạn dưới dạng đọc có quyền truy cập vào nhóm phát triển của bạn. Sau đó chạy:

s3cmd cp -r s3://productionbucket/feed/feedname/date s3://developmentbucket/feed/feedname

Đối với tôi, lệnh sau chỉ hoạt động:

aws s3 mv s3://bucket/data s3://bucket/old_data --recursive

Đây là một lớp ruby ​​để thực hiện điều này: https://gist.github.com/4080793

Ví dụ sử dụng:

$ gem install aws-sdk
$ irb -r ./bucket_sync_service.rb
> from_creds = {aws_access_key_id:"XXX",
                aws_secret_access_key:"YYY",
                bucket:"first-bucket"}
> to_creds = {aws_access_key_id:"ZZZ",
              aws_secret_access_key:"AAA",
              bucket:"first-bucket"}
> syncer = BucketSyncService.new(from_creds, to_creds)
> syncer.debug = true # log each object
> syncer.perform

Trên thực tế, gần đây tôi chỉ sử dụng hành động sao chép + dán trong giao diện AWS s3. Chỉ cần điều hướng đến các tệp bạn muốn sao chép, nhấp vào "Tác vụ" -> "Sao chép" sau đó điều hướng đến nhóm đích và "Tác vụ" -> "Dán"

Nó chuyển các tệp khá nhanh và có vẻ như là một giải pháp ít phức tạp hơn, không yêu cầu bất kỳ lập trình nào hoặc hơn các giải pháp hàng đầu như vậy.

Chúng tôi đã gặp vấn đề chính xác này với các công việc ETL của mình tại Snowplow , vì vậy chúng tôi đã trích xuất mã sao chép tệp song song của mình (Ruby, được xây dựng trên Fog ), thành viên ngọc Ruby của riêng nó, được gọi là Sluice:

https://github.com/snowplow/sluice

Sluice cũng xử lý xóa, di chuyển và tải xuống tệp S3; tất cả được song song hóa và tự động thử lại nếu một hoạt động không thành công (điều mà nó thường xuyên xảy ra một cách đáng ngạc nhiên). Tôi hy vọng nó hữu ích!

Tôi biết đây là một chủ đề cũ nhưng đối với những người khác đến đó, đề xuất của tôi là tạo một công việc đã lên lịch để sao chép nội dung từ nhóm sản xuất sang nhóm phát triển.

Bạn có thể sử dụng Nếu bạn sử dụng .NET bài viết này có thể giúp bạn

https://edunyte.com/2015/03/aws-s3-copy-object-from-one-bucket-or/

Đối với phiên bản mới aws2.

aws2 s3 sync s3://SOURCE_BUCKET_NAME s3://NEW_BUCKET_NAME