Trong boto 2, bạn có thể ghi vào một đối tượng S3 bằng các phương pháp sau:

• Key.set_contents_from_string ()
• Key.set_contents_from_file ()
• Key.set_contents_from_filename ()
• Key.set_contents_from_stream ()

Có tương đương boto 3 không? Phương thức boto3 để lưu dữ liệu vào một đối tượng được lưu trữ trên S3 là gì?

Trong boto 3, các phương thức 'Key.set_contents_from_' đã được thay thế bằng

• Object.put ()

• Client.put_object ()

Ví dụ:

import boto3

some_binary_data = b'Here we have some data'
more_binary_data = b'Here we have some more data'

# Method 1: Object.put()
s3 = boto3.resource('s3')
object = s3.Object('my_bucket_name', 'my/key/including/filename.txt')
object.put(Body=some_binary_data)

# Method 2: Client.put_object()
client = boto3.client('s3')
client.put_object(Body=more_binary_data, Bucket='my_bucket_name', Key='my/key/including/anotherfilename.txt')

Ngoài ra, dữ liệu nhị phân có thể đến từ việc đọc tệp, như được mô tả trong các tài liệu chính thức so sánh boto 2 và boto 3 :

Lưu trữ dữ liệu

Dễ dàng lưu trữ dữ liệu từ tệp, luồng hoặc chuỗi:

# Boto 2.x
from boto.s3.key import Key
key = Key('hello.txt')
key.set_contents_from_file('/tmp/hello.txt')

# Boto 3
s3.Object('mybucket', 'hello.txt').put(Body=open('/tmp/hello.txt', 'rb'))

boto3 cũng có một phương pháp tải lên tệp trực tiếp:

s3.Bucket('bucketname').upload_file('/local/file/here.txt','folder/sub/path/to/s3key')

http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Bucket.upload_file

Bạn không còn phải chuyển đổi nội dung sang nhị phân trước khi ghi vào tệp trong S3. Ví dụ sau tạo một tệp văn bản mới (được gọi là newfile.txt) trong một thùng S3 với nội dung chuỗi:

import boto3

s3 = boto3.resource(
    's3',
    region_name='us-east-1',
    aws_access_key_id=KEY_ID,
    aws_secret_access_key=ACCESS_KEY
)
content="String content to write to a new S3 file"
s3.Object('my-bucket-name', 'newfile.txt').put(Body=content)

Đây là một mẹo hay để đọc JSON từ s3:

import json, boto3
s3 = boto3.resource("s3").Bucket("bucket")
json.load_s3 = lambda f: json.load(s3.Object(key=f).get()["Body"])
json.dump_s3 = lambda obj, f: s3.Object(key=f).put(Body=json.dumps(obj))

Bây giờ bạn có thể sử dụng json.load_s3và json.dump_s3với cùng một API như loadvàdump

data = {"test":0}
json.dump_s3(data, "key") # saves json to s3://bucket/key
data = json.load_s3("key") # read json from s3://bucket/key

Một phiên bản ngắn gọn và rõ ràng hơn mà tôi sử dụng để tải tệp lên nhanh chóng vào một nhóm và thư mục con S3 cụ thể-

import boto3

BUCKET_NAME = 'sample_bucket_name'
PREFIX = 'sub-folder/'

s3 = boto3.resource('s3')

# Creating an empty file called "_DONE" and putting it in the S3 bucket
s3.Object(BUCKET_NAME, PREFIX + '_DONE').put(Body="")

Lưu ý : Bạn LUÔN LUÔN phải đặt thông tin đăng nhập AWS của mình ( aws_access_key_idvà aws_secret_access_key) vào một tệp riêng biệt, ví dụ:~/.aws/credentials

điều đáng nói là mở thông minh sử dụngboto3 như một back-end.

smart-openlà một thả thay thế cho của python opencó thể mở tập tin từ s3, cũng như ftp,http và nhiều giao thức khác.

ví dụ

from smart_open import open
import json
with open("s3://your_bucket/your_key.json", 'r') as f:
    data = json.load(f)

Thông tin đăng nhập aws được tải qua thông tin đăng nhập boto3 , thường là một tệp trong ~/.aws/dir hoặc một biến môi trường.

Bạn có thể sử dụng mã dưới đây để viết, ví dụ: một hình ảnh cho S3 vào năm 2019. Để có thể kết nối với S3, bạn sẽ phải cài đặt AWS CLI bằng lệnh pip install awscli, sau đó nhập một số thông tin đăng nhập bằng lệnh aws configure:

import urllib3
import uuid
from pathlib import Path
from io import BytesIO
from errors import custom_exceptions as cex

BUCKET_NAME = "xxx.yyy.zzz"
POSTERS_BASE_PATH = "assets/wallcontent"
CLOUDFRONT_BASE_URL = "https://xxx.cloudfront.net/"


class S3(object):
    def __init__(self):
        self.client = boto3.client('s3')
        self.bucket_name = BUCKET_NAME
        self.posters_base_path = POSTERS_BASE_PATH

    def __download_image(self, url):
        manager = urllib3.PoolManager()
        try:
            res = manager.request('GET', url)
        except Exception:
            print("Could not download the image from URL: ", url)
            raise cex.ImageDownloadFailed
        return BytesIO(res.data)  # any file-like object that implements read()

    def upload_image(self, url):
        try:
            image_file = self.__download_image(url)
        except cex.ImageDownloadFailed:
            raise cex.ImageUploadFailed

        extension = Path(url).suffix
        id = uuid.uuid1().hex + extension
        final_path = self.posters_base_path + "/" + id
        try:
            self.client.upload_fileobj(image_file,
                                       self.bucket_name,
                                       final_path
                                       )
        except Exception:
            print("Image Upload Error for URL: ", url)
            raise cex.ImageUploadFailed

        return CLOUDFRONT_BASE_URL + id