Cách đặt 10.000 tệp trong S3 ở chế độ công khai

Tôi có một thư mục trong một nhóm với 10.000 tệp. Dường như không có cách nào để tải chúng lên và công khai chúng ngay lập tức. Vì vậy, tôi đã tải lên tất cả, chúng ở chế độ riêng tư và tôi cần đặt chúng ở chế độ công khai.

Tôi đã thử bảng điều khiển aws, nó chỉ báo lỗi (hoạt động tốt với các thư mục có ít tệp hơn).

Tôi đã thử sử dụng tổ chức S3 trong Firefox, điều tương tự.

Có phần mềm hoặc tập lệnh nào đó mà tôi có thể chạy để công khai tất cả những thứ này không?

Bạn có thể tạo chính sách nhóm (xem ví dụ bên dưới) để cấp quyền truy cập vào tất cả các tệp trong nhóm. Chính sách nhóm có thể được thêm vào nhóm thông qua bảng điều khiển AWS.

{
    "Id": "...",
    "Statement": [ {
        "Sid": "...",
        "Action": [
            "s3:GetObject"
        ],
        "Effect": "Allow",
        "Resource": "arn:aws:s3:::bucket/*",
        "Principal": {
            "AWS": [ "*" ]
        }
    } ]
}

Cũng xem xét công cụ tạo chính sách sau do Amazon cung cấp.

http://awspolicygen.s3.amazonaws.com/policygen.html

Nếu bạn đang tải lên lần đầu tiên, bạn có thể đặt các tệp ở chế độ công khai khi tải lên trên dòng lệnh:

aws s3 sync . s3://my-bucket/path --acl public-read

Như đã nêu trong Sử dụng Lệnh s3 Cấp cao với Giao diện Dòng lệnh AWS

Thật không may, nó chỉ áp dụng ACL khi các tệp được tải lên. Nó không (trong thử nghiệm của tôi) áp dụng ACL cho các tệp đã được tải lên.

Nếu bạn muốn cập nhật các đối tượng hiện có, bạn đã từng có thể đồng bộ nhóm với chính nó, nhưng điều này dường như đã ngừng hoạt động.

[Không hoạt động nữa] Điều này có thể được thực hiện từ dòng lệnh:

aws s3 sync s3://my-bucket/path s3://my-bucket/path --acl public-read

(Vì vậy, điều này không còn trả lời câu hỏi, nhưng để lại câu trả lời để tham khảo như nó đã từng hoạt động.)

Tôi đã phải thay đổi vài trăm nghìn đồ vật. Tôi đã kích hoạt một phiên bản EC2 để chạy nó, điều này làm cho tất cả diễn ra nhanh hơn. Bạn sẽ muốn cài đặt aws-sdkgem trước.

Đây là mã:

require 'rubygems'
require 'aws-sdk'


# Change this stuff.
AWS.config({
    :access_key_id => 'YOURS_HERE',
    :secret_access_key => 'YOURS_HERE',
})
bucket_name = 'YOUR_BUCKET_NAME'


s3 = AWS::S3.new()
bucket = s3.buckets[bucket_name]
bucket.objects.each do |object|
    puts object.key
    object.acl = :public_read
end

Tôi gặp vấn đề tương tự, giải pháp của @DanielVonFange đã lỗi thời vì phiên bản SDK mới đã ra đời.

Thêm đoạn mã phù hợp với tôi ngay bây giờ với AWS Ruby SDK:

require 'aws-sdk'

Aws.config.update({
  region: 'REGION_CODE_HERE',
  credentials: Aws::Credentials.new(
    'ACCESS_KEY_ID_HERE',
    'SECRET_ACCESS_KEY_HERE'
  )
})
bucket_name = 'BUCKET_NAME_HERE'

s3 = Aws::S3::Resource.new
s3.bucket(bucket_name).objects.each do |object|
  puts object.key
  object.acl.put({ acl: 'public-read' })
end

Chỉ muốn thêm điều đó với Bảng điều khiển S3 mới, bạn có thể chọn (các) thư mục của mình và chọn Make publicđặt tất cả các tệp bên trong các thư mục ở chế độ công khai. Nó hoạt động như một tác vụ nền vì vậy nó sẽ xử lý bất kỳ số lượng tệp nào.

Sử dụng cli:

aws s3 ls s3://bucket-name --recursive > all_files.txt && grep .jpg all_files.txt > files.txt && cat files.txt | awk '{cmd="aws s3api put-object-acl --acl public-read --bucket bucket-name --key "$4;system(cmd)}'

Bản thân tôi đã cần điều này nhưng số lượng tệp làm cho nó CÓ THỂ làm chậm theo thứ tự. Vì vậy, tôi đã viết một kịch bản nào đó trên iron.io 's ironworker dịch vụ. 500 giờ máy tính miễn phí mỗi tháng của họ đủ để xử lý ngay cả những nhóm lớn (và nếu bạn vượt quá mức giá đó là hợp lý). Vì nó được thực hiện song song nên nó hoàn thành trong vòng chưa đầy một phút cho 32.000 đối tượng mà tôi có. Ngoài ra, tôi tin rằng máy chủ của họ chạy trên EC2 nên giao tiếp giữa công việc và S3 rất nhanh chóng.

Bất kỳ ai cũng được hoan nghênh sử dụng kịch bản của tôi cho nhu cầu của riêng họ.

Hãy xem BucketExplorer, nó quản lý các hoạt động hàng loạt rất tốt và là một Ứng dụng khách S3 vững chắc.

Bạn sẽ nghĩ rằng họ sẽ công khai đọc hành vi mặc định, phải không? :) Tôi đã chia sẻ sự thất vọng của bạn khi xây dựng một API tùy chỉnh để giao diện với S3 từ giải pháp C #. Đây là đoạn mã hoàn thành việc tải lên một đối tượng S3 và đặt nó thành quyền truy cập đọc công khai theo mặc định:

public void Put(string bucketName, string id, byte[] bytes, string contentType, S3ACLType acl) {
     string uri = String.Format("https://{0}/{1}", BASE_SERVICE_URL, bucketName.ToLower());
     DreamMessage msg = DreamMessage.Ok(MimeType.BINARY, bytes);
     msg.Headers[DreamHeaders.CONTENT_TYPE] = contentType;
     msg.Headers[DreamHeaders.EXPECT] = "100-continue";
     msg.Headers[AWS_ACL_HEADER] = ToACLString(acl);
     try {
        Plug s3Client = Plug.New(uri).WithPreHandler(S3AuthenticationHeader);
        s3Client.At(id).Put(msg);
     } catch (Exception ex) {
        throw new ApplicationException(String.Format("S3 upload error: {0}", ex.Message));
     }
}

Hàm ToACLString (acl) trả về public-read , BASE_SERVICE_URL là s3.amazonaws.com và hằng số AWS_ACL_HEADER là x-amz-acl . Trình cắm và nội dung DreamMessage có thể trông lạ lẫm đối với bạn vì chúng tôi đang sử dụng khung công tác Dream để hợp lý hóa liên lạc http của chúng tôi. Về cơ bản, chúng tôi đang thực hiện một http PUT với các tiêu đề được chỉ định và chữ ký tiêu đề đặc biệt theo thông số kỹ thuật aws (xem trang này trong tài liệu aws để biết các ví dụ về cách tạo tiêu đề ủy quyền).

Để thay đổi 1000 ACL đối tượng hiện có, bạn có thể viết một tập lệnh nhưng có thể dễ dàng hơn khi sử dụng công cụ GUI để khắc phục sự cố ngay lập tức. Điều tốt nhất tôi đã sử dụng cho đến nay là từ một công ty có tên cloudberry cho S3; có vẻ như họ có 15 ngày dùng thử miễn phí cho ít nhất một trong các sản phẩm của họ. Tôi vừa xác minh rằng nó sẽ cho phép bạn chọn nhiều đối tượng cùng một lúc và đặt ACL của chúng thành công khai thông qua menu ngữ cảnh. Tận hưởng đám mây!