Giới hạn S3 đối với các đối tượng trong một thùng


85

Có ai biết có giới hạn số lượng đối tượng mà tôi có thể đặt trong một thùng S3 không? tôi có thể bỏ một triệu, 10 triệu, v.v .. tất cả vào một thùng?


1
Tại sao không bỏ một triệu, hoặc 10 triệu vào và tìm hiểu?
PurplePilot

27
10.000 yêu cầu với giá 0,01 đô la có thể tốn kém để tìm ra các giới hạn bên ngoài. Cảm ơn vì câu trích dẫn bên dưới
Quotient

1
20.000 của nó với giá 0,01 đô la bây giờ
Petah

Câu trả lời:


91

Theo Amazon:

Ghi, đọc và xóa các đối tượng chứa từ 0 byte đến 5 terabyte dữ liệu mỗi đối tượng. Số lượng đối tượng bạn có thể lưu trữ là không giới hạn.

Nguồn: http://aws.amazon.com/s3/details/ kể từ ngày 3 tháng 9 năm 2015.


3
Lưu ý: 5GB là tối đa cho mỗi PUT. Nếu bạn muốn tải lên một đối tượng 5TB, bạn cần bật tải lên nhiều phần .
whiteshooz

Mặc dù 5 TB là kích thước tệp tối đa, bạn cũng có thể lưu trữ các đối tượng có kích thước 0 byte . Nguồn: Hỏi: Tôi có thể lưu trữ bao nhiêu dữ liệu trong Amazon S3?
Norbert

17

Có vẻ như giới hạn đã thay đổi. Bạn có thể lưu trữ 5TB cho một đối tượng.

Tổng khối lượng dữ liệu và số lượng đối tượng bạn có thể lưu trữ là không giới hạn. Các đối tượng Amazon S3 riêng lẻ có thể có kích thước từ tối thiểu 0 byte đến tối đa 5 terabyte. Đối tượng lớn nhất có thể được tải lên trong một PUT là 5 gigabyte. Đối với các đối tượng lớn hơn 100 megabyte, khách hàng nên cân nhắc sử dụng khả năng Tải lên nhiều phần.

http://aws.amazon.com/s3/faqs/#How_much_data_can_I_store


11
  • Không có giới hạn về đối tượng trên mỗi thùng.
  • Có giới hạn 100 thùng cho mỗi tài khoản (bạn cần yêu cầu amazon nếu bạn cần nhiều hơn).
  • Không có sự sụt giảm hiệu suất ngay cả khi bạn lưu trữ hàng triệu đối tượng trong một thùng.

Từ tài liệu,

Không có giới hạn về số lượng đối tượng có thể được lưu trữ trong một nhóm và không có sự khác biệt về hiệu suất cho dù bạn sử dụng nhiều nhóm hay chỉ một vài nhóm. Bạn có thể lưu trữ tất cả các đối tượng của mình trong một nhóm hoặc bạn có thể sắp xếp chúng trên nhiều nhóm.

kể từ tháng 8 năm 2016


3
Tiền tố tổ chức / khóa của các đối tượng trong thùng có thể tạo ra sự khác biệt khi bạn đang làm việc với hàng triệu đối tượng. Xem aws.amazon.com/blogs/aws/…
Trenton

docs.aws.amazon.com/AmazonS3/latest/dev/… cho biết "Bạn không còn phải đặt tên tiền tố ngẫu nhiên cho hiệu suất." Nhưng không rõ ràng từ tài liệu về cách S3 thực hiện lập chỉ mục (băm? B-tree?) Và liệu nó có thể liệt kê hiệu quả các đối tượng khớp với tiền tố hay không. Tài liệu lỗi thời sau cung cấp một số gợi ý: aws.amazon.com/blogs/aws/…
Don Smith

7

Mặc dù bạn có thể lưu trữ số lượng tệp / đối tượng không giới hạn trong một nhóm duy nhất, nhưng khi bạn liệt kê một "thư mục" trong một nhóm, nó sẽ chỉ cung cấp cho bạn 1000 tệp / đối tượng đầu tiên trong nhóm đó theo mặc định. Để truy cập tất cả các tệp trong một "thư mục" lớn như thế này, bạn cần thực hiện nhiều lệnh gọi tới API của chúng.


2

Không có giới hạn nào đối với số lượng đối tượng bạn có thể lưu trữ trong nhóm S3 của mình. AWS tuyên bố nó có bộ nhớ không giới hạn. Tuy nhiên, có một số hạn chế -

  1. Theo mặc định, khách hàng có thể cung cấp tối đa 100 nhóm cho mỗi tài khoản AWS. Tuy nhiên, bạn có thể tăng giới hạn nhóm Amazon S3 của mình bằng cách truy cập Giới hạn dịch vụ AWS.
  2. Một đối tượng có thể từ 0 byte đến 5TB.
  3. Đối tượng lớn nhất có thể được tải lên trong một PUT là 5 gigabyte
  4. Đối với các đối tượng lớn hơn 100 megabyte, khách hàng nên cân nhắc sử dụng khả năng Tải lên nhiều phần.

Điều đó đang được nói nếu bạn thực sự có nhiều đối tượng được lưu trữ trong S3 bucket, hãy xem xét việc ngẫu nhiên hóa tiền tố tên đối tượng của bạn để cải thiện hiệu suất.

Khi khối lượng công việc của bạn là sự kết hợp của các loại yêu cầu, hãy giới thiệu một số ngẫu nhiên cho các tên khóa bằng cách thêm chuỗi băm làm tiền tố cho tên khóa. Bằng cách giới thiệu tính ngẫu nhiên cho các tên khóa của bạn, tải I / O sẽ được phân phối trên nhiều phân vùng chỉ mục. Ví dụ: bạn có thể tính toán băm MD5 của chuỗi ký tự mà bạn định gán làm khóa và thêm 3 hoặc 4 ký tự từ băm làm tiền tố cho tên khóa.

Thông tin chi tiết - https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/

- Tính đến tháng 6 năm 2018


0

"Bạn có thể lưu trữ bao nhiêu đối tượng tùy thích trong một nhóm và ghi, đọc và xóa các đối tượng trong nhóm của mình. Các đối tượng có thể có kích thước lên đến 5 terabyte."

từ http://aws.amazon.com/s3/details/ (kể từ ngày 4 tháng 3 năm 2015)


-1

@ Acyra- hiệu suất phân phối đối tượng từ một nhóm sẽ phụ thuộc rất nhiều vào tên của các đối tượng trong đó.

Nếu tên tệp bị phân biệt bởi các ký tự ngẫu nhiên thì vị trí thực của chúng sẽ được lan truyền xa hơn trên phần cứng AWS, nhưng nếu bạn đặt tên cho mọi thứ là 'common-x.jpg', 'common-y.jpg' thì các đối tượng đó sẽ được lưu trữ cùng nhau.

Điều này có thể làm chậm việc phân phối tệp nếu bạn yêu cầu chúng đồng thời nhưng không đủ làm bạn lo lắng, rủi ro lớn hơn là do mất dữ liệu hoặc ngừng hoạt động, vì các đối tượng này được lưu trữ cùng nhau, chúng sẽ bị mất hoặc không khả dụng cùng nhau.


Bạn có bất kỳ tài liệu tham khảo cho điều này, hoặc nó là một phỏng đoán có học? Tôi có thể đoán rằng các đối tượng S3 được chia nhỏ / băm theo tên tệp hoặc tôi có thể đoán rằng thứ gì đó ngẫu nhiên hơn như sha1 / md5 hoặc thứ gì đó được sử dụng ... nhưng không có tài liệu nguồn thì tôi thực sự không biết .
fazy
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.