Làm cách nào tôi có thể thấy những gì bên trong một thùng trong S3 với boto3? (tức là làm một"ls" )?

Làm như sau:

import boto3
s3 = boto3.resource('s3')
my_bucket = s3.Bucket('some/path/')

trả về:

s3.Bucket(name='some/path/')

Làm thế nào để tôi thấy nội dung của nó?

Một cách để xem nội dung sẽ là:

for my_bucket_object in my_bucket.objects.all():
    print(my_bucket_object)

Điều này tương tự như 'ls' nhưng nó không tính đến quy ước thư mục tiền tố và sẽ liệt kê các đối tượng trong nhóm. Nó phụ thuộc vào người đọc để lọc các tiền tố là một phần của Tên khóa.

Trong Python 2:

from boto.s3.connection import S3Connection

conn = S3Connection() # assumes boto.cfg setup
bucket = conn.get_bucket('bucket_name')
for obj in bucket.get_all_keys():
    print(obj.key)

Trong Python 3:

from boto3 import client

conn = client('s3')  # again assumes boto.cfg setup, assume AWS S3
for key in conn.list_objects(Bucket='bucket_name')['Contents']:
    print(key['Key'])

Tôi giả sử bạn đã cấu hình xác thực riêng biệt.

import boto3
s3 = boto3.resource('s3')

my_bucket = s3.Bucket('bucket_name')

for file in my_bucket.objects.all():
    print(file.key)

Nếu bạn muốn vượt qua các khóa ACCESS và SECRET (điều mà bạn không nên làm, vì nó không an toàn):

from boto3.session import Session

ACCESS_KEY='your_access_key'
SECRET_KEY='your_secret_key'

session = Session(aws_access_key_id=ACCESS_KEY,
                  aws_secret_access_key=SECRET_KEY)
s3 = session.resource('s3')
your_bucket = s3.Bucket('your_bucket')

for s3_file in your_bucket.objects.all():
    print(s3_file.key)

Để xử lý các danh sách khóa lớn (nghĩa là khi danh sách thư mục lớn hơn 1000 mục), tôi đã sử dụng đoạn mã sau để tích lũy các giá trị khóa (ví dụ tên tệp) với nhiều danh sách (nhờ Amelio ở trên cho các dòng đầu tiên). Mã dành cho python3:

    from boto3  import client
    bucket_name = "my_bucket"
    prefix      = "my_key/sub_key/lots_o_files"

    s3_conn   = client('s3')  # type: BaseClient  ## again assumes boto.cfg setup, assume AWS S3
    s3_result =  s3_conn.list_objects_v2(Bucket=bucket_name, Prefix=prefix, Delimiter = "/")

    if 'Contents' not in s3_result:
        #print(s3_result)
        return []

    file_list = []
    for key in s3_result['Contents']:
        file_list.append(key['Key'])
    print(f"List count = {len(file_list)}")

    while s3_result['IsTruncated']:
        continuation_key = s3_result['NextContinuationToken']
        s3_result = s3_conn.list_objects_v2(Bucket=bucket_name, Prefix=prefix, Delimiter="/", ContinuationToken=continuation_key)
        for key in s3_result['Contents']:
            file_list.append(key['Key'])
        print(f"List count = {len(file_list)}")
    return file_list

Chức năng tiện ích s3keys của tôi về cơ bản là một phiên bản tối ưu hóa câu trả lời của @ Hephaestus:

import boto3


s3_paginator = boto3.client('s3').get_paginator('list_objects_v2')


def keys(bucket_name, prefix='/', delimiter='/', start_after=''):
    prefix = prefix[1:] if prefix.startswith(delimiter) else prefix
    start_after = (start_after or prefix) if prefix.endswith(delimiter) else start_after
    for page in s3_paginator.paginate(Bucket=bucket_name, Prefix=prefix, StartAfter=start_after):
        for content in page.get('Contents', ()):
            yield content['Key']

Trong các thử nghiệm của tôi (boto3 1.9.84), nó nhanh hơn đáng kể so với mã tương đương (nhưng đơn giản hơn):

import boto3


def keys(bucket_name, prefix='/', delimiter='/'):
    prefix = prefix[1:] if prefix.startswith(delimiter) else prefix
    bucket = boto3.resource('s3').Bucket(bucket_name)
    return (_.key for _ in bucket.objects.filter(Prefix=prefix))

Vì S3 đảm bảo kết quả được sắp xếp nhị phân UTF-8 , start_aftertối ưu hóa đã được thêm vào chức năng đầu tiên.

Một cách tinh vi hơn, thay vì lặp qua một vòng lặp for, bạn cũng có thể chỉ cần in đối tượng gốc có chứa tất cả các tệp trong nhóm S3 của mình:

session = Session(aws_access_key_id=aws_access_key_id,aws_secret_access_key=aws_secret_access_key)
s3 = session.resource('s3')
bucket = s3.Bucket('bucket_name')

files_in_s3 = bucket.objects.all() 
#you can print this iterable with print(list(files_in_s3))

Đối tượng:

Có hai mã định danh được đính kèm với ObjectSummary:

• xô_name
• Chìa khóa

boto3 S3: ObjectSummary

Thông tin thêm về Khóa đối tượng từ Tài liệu AWS S3:

Khóa đối tượng:

Khi bạn tạo một đối tượng, bạn chỉ định tên khóa, xác định duy nhất đối tượng trong nhóm. Ví dụ: trong bảng điều khiển Amazon S3 (xem Bảng điều khiển quản lý AWS), khi bạn tô sáng một nhóm, một danh sách các đối tượng trong nhóm của bạn xuất hiện. Những tên này là các khóa đối tượng. Tên của một khóa là một chuỗi các ký tự Unicode có mã hóa UTF-8 dài tối đa 1024 byte.

Mô hình dữ liệu Amazon S3 là một cấu trúc phẳng: bạn tạo một nhóm và nhóm lưu trữ các đối tượng. Không có hệ thống phân cấp của các nhóm con hoặc thư mục con; tuy nhiên, bạn có thể suy ra hệ thống phân cấp logic bằng cách sử dụng tiền tố và dấu phân cách tên khóa như bảng điều khiển Amazon S3 thực hiện. Bảng điều khiển Amazon S3 hỗ trợ khái niệm thư mục. Giả sử rằng nhóm của bạn (do quản trị viên tạo) có bốn đối tượng với các khóa đối tượng sau:

Phát triển / Dự án1.xls

Tài chính / sao kê1.pdf

Riêng tư / taxdocument.pdf

s3-dg.pdf

Tài liệu tham khảo:

AWS S3: Khóa đối tượng

Dưới đây là một số mã ví dụ minh họa cách lấy tên xô và khóa đối tượng.

Thí dụ:

import boto3
from pprint import pprint

def main():

    def enumerate_s3():
        s3 = boto3.resource('s3')
        for bucket in s3.buckets.all():
             print("Name: {}".format(bucket.name))
             print("Creation Date: {}".format(bucket.creation_date))
             for object in bucket.objects.all():
                 print("Object: {}".format(object))
                 print("Object bucket_name: {}".format(object.bucket_name))
                 print("Object key: {}".format(object.key))

    enumerate_s3()


if __name__ == '__main__':
    main()

Tôi chỉ làm như thế này, bao gồm cả phương thức xác thực:

s3_client = boto3.client(
                's3',
                aws_access_key_id='access_key',
                aws_secret_access_key='access_key_secret',
                config=boto3.session.Config(signature_version='s3v4'),
                region_name='region'
            )

response = s3_client.list_objects(Bucket='bucket_name', Prefix=key)
if ('Contents' in response):
    # Object / key exists!
    return True
else:
    # Object / key DOES NOT exist!
    return False

#To print all filenames in a bucket
import boto3

s3 = boto3.client('s3')

def get_s3_keys(bucket):

    """Get a list of keys in an S3 bucket."""
    resp = s3.list_objects_v2(Bucket=bucket)
    for obj in resp['Contents']:
      files = obj['Key']
    return files


filename = get_s3_keys('your_bucket_name')

print(filename)

#To print all filenames in a certain directory in a bucket
import boto3

s3 = boto3.client('s3')

def get_s3_keys(bucket, prefix):

    """Get a list of keys in an S3 bucket."""
    resp = s3.list_objects_v2(Bucket=bucket, Prefix=prefix)
    for obj in resp['Contents']:
      files = obj['Key']
      print(files)
    return files


filename = get_s3_keys('your_bucket_name', 'folder_name/sub_folder_name/')

print(filename)

Với một chút sửa đổi mã của @Hephaeastus trong một trong những ý kiến ​​trên, đã viết phương pháp dưới đây để liệt kê các thư mục và đối tượng (tệp) trong một đường dẫn cụ thể. Hoạt động tương tự lệnh s3 ls.

from boto3 import session

def s3_ls(profile=None, bucket_name=None, folder_path=None):
    folders=[]
    files=[]
    result=dict()
    bucket_name = bucket_name
    prefix= folder_path
    session = boto3.Session(profile_name=profile)
    s3_conn   = session.client('s3')
    s3_result =  s3_conn.list_objects_v2(Bucket=bucket_name, Delimiter = "/", Prefix=prefix)
    if 'Contents' not in s3_result and 'CommonPrefixes' not in s3_result:
        return []

    if s3_result.get('CommonPrefixes'):
        for folder in s3_result['CommonPrefixes']:
            folders.append(folder.get('Prefix'))

    if s3_result.get('Contents'):
        for key in s3_result['Contents']:
            files.append(key['Key'])

    while s3_result['IsTruncated']:
        continuation_key = s3_result['NextContinuationToken']
        s3_result = s3_conn.list_objects_v2(Bucket=bucket_name, Delimiter="/", ContinuationToken=continuation_key, Prefix=prefix)
        if s3_result.get('CommonPrefixes'):
            for folder in s3_result['CommonPrefixes']:
                folders.append(folder.get('Prefix'))
        if s3_result.get('Contents'):
            for key in s3_result['Contents']:
                files.append(key['Key'])

    if folders:
        result['folders']=sorted(folders)
    if files:
        result['files']=sorted(files)
    return result

Điều này liệt kê tất cả các đối tượng / thư mục trong một đường dẫn nhất định. Thư mục_path có thể được để lại là Không theo mặc định và phương thức sẽ liệt kê các nội dung ngay lập tức của thư mục gốc.

Đây là giải pháp

nhập khẩu boto3

s3 = boto3.resource ('s3')

BucksET_NAME = 'Tên nhóm S3 của bạn, ví dụ như'deletemetesting11' '

allFiles = s3.Bucket (BucksET_NAME) .objects.all ()

cho tệp trong allFiles: print (file.key)