Cách nhập tệp văn bản trên AWS S3 vào gấu trúc mà không cần ghi vào đĩa

Tôi có một tệp văn bản được lưu trên S3 là một bảng được phân cách bằng tab. Tôi muốn tải nó vào gấu trúc nhưng không thể lưu nó trước vì tôi đang chạy trên máy chủ heroku. Đây là những gì tôi có cho đến nay.

import io
import boto3
import os
import pandas as pd

os.environ["AWS_ACCESS_KEY_ID"] = "xxxxxxxx"
os.environ["AWS_SECRET_ACCESS_KEY"] = "xxxxxxxx"

s3_client = boto3.client('s3')
response = s3_client.get_object(Bucket="my_bucket",Key="filename.txt")
file = response["Body"]


pd.read_csv(file, header=14, delimiter="\t", low_memory=False)

lỗi là

OSError: Expected file path name or file-like object, got <class 'bytes'> type

Làm cách nào để chuyển đổi nội dung phản hồi thành định dạng mà gấu trúc sẽ chấp nhận?

pd.read_csv(io.StringIO(file), header=14, delimiter="\t", low_memory=False)

returns

TypeError: initial_value must be str or None, not StreamingBody

pd.read_csv(io.BytesIO(file), header=14, delimiter="\t", low_memory=False)

returns

TypeError: 'StreamingBody' does not support the buffer interface

CẬP NHẬT - Sử dụng điều sau đây đã hiệu quả

file = response["Body"].read()

và

pd.read_csv(io.BytesIO(file), header=14, delimiter="\t", low_memory=False)

pandassử dụng botocho read_csv, vì vậy bạn sẽ có thể:

import boto
data = pd.read_csv('s3://bucket....csv')

Nếu bạn cần boto3vì bạn đang ở trên python3.4+, bạn có thể

import boto3
import io
s3 = boto3.client('s3')
obj = s3.get_object(Bucket='bucket', Key='key')
df = pd.read_csv(io.BytesIO(obj['Body'].read()))

Vì phiên bản 0.20.1 pandas sử dụng s3fs, hãy xem câu trả lời bên dưới.

Bây giờ gấu trúc có thể xử lý các URL S3 . Bạn chỉ có thể làm:

import pandas as pd
import s3fs

df = pd.read_csv('s3://bucket-name/file.csv')

Bạn cần cài đặts3fs nếu chưa có. pip install s3fs

Xác thực

Nếu nhóm S3 của bạn là riêng tư và yêu cầu xác thực, bạn có hai tùy chọn:

1- Thêm thông tin đăng nhập vào tệp cấu hình của bạn~/.aws/credentials

[default]
aws_access_key_id=AKIAIOSFODNN7EXAMPLE
aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

Hoặc là

2- Đặt các biến môi trường sau với giá trị thích hợp của chúng:

• aws_access_key_id
• aws_secret_access_key
• aws_session_token

Điều này hiện đã được hỗ trợ trong gấu trúc mới nhất. Xem

http://pandas.pydata.org/pandas-docs/stable/io.html#reading-remote-files

ví dụ.,

df = pd.read_csv('s3://pandas-test/tips.csv')

Với s3fs, nó có thể được thực hiện như sau:

import s3fs
import pandas as pd
fs = s3fs.S3FileSystem(anon=False)

# CSV
with fs.open('mybucket/path/to/object/foo.pkl') as f:
    df = pd.read_csv(f)

# Pickle
with fs.open('mybucket/path/to/object/foo.pkl') as f:
    df = pd.read_pickle(f)

Vì các tệp có thể quá lớn, không nên tải chúng trong khung dữ liệu. Do đó, đọc từng dòng một và lưu nó vào khung dữ liệu. Có, chúng tôi cũng có thể cung cấp kích thước phân đoạn trong read_csv nhưng sau đó chúng tôi phải duy trì số hàng đã đọc.

Do đó, tôi đã nghĩ ra kỹ thuật này:

def create_file_object_for_streaming(self):
        print("creating file object for streaming")
        self.file_object = self.bucket.Object(key=self.package_s3_key)
        print("File object is: " + str(self.file_object))
        print("Object file created.")
        return self.file_object

for row in codecs.getreader(self.encoding)(self.response[u'Body']).readlines():
            row_string = StringIO(row)
            df = pd.read_csv(row_string, sep=",")

Tôi cũng xóa df sau khi hoàn thành công việc. del df

Đối với tệp văn bản, bạn có thể sử dụng mã bên dưới với tệp được phân cách bằng dấu sổ đứng, ví dụ: -

import pandas as pd
import io
import boto3
s3_client = boto3.client('s3', use_ssl=False)
bucket = #
prefix = #
obj = s3_client.get_object(Bucket=bucket, Key=prefix+ filename)
df = pd.read_fwf((io.BytesIO(obj['Body'].read())) , encoding= 'unicode_escape', delimiter='|', error_bad_lines=False,header=None, dtype=str)

Một tùy chọn là chuyển đổi csv sang json qua df.to_dict()và sau đó lưu trữ nó dưới dạng chuỗi. Lưu ý rằng điều này chỉ có liên quan nếu CSV không phải là một yêu cầu nhưng bạn chỉ muốn nhanh chóng đặt khung dữ liệu vào một nhóm S3 và truy xuất lại nó.

from boto.s3.connection import S3Connection
import pandas as pd
import yaml

conn = S3Connection()
mybucket = conn.get_bucket('mybucketName')
myKey = mybucket.get_key("myKeyName")

myKey.set_contents_from_string(str(df.to_dict()))

Điều này sẽ chuyển đổi df thành một chuỗi dict, và sau đó lưu nó dưới dạng json trong S3. Sau đó, bạn có thể đọc nó ở cùng một định dạng json:

df = pd.DataFrame(yaml.load(myKey.get_contents_as_string()))

Các giải pháp khác cũng tốt, nhưng điều này đơn giản hơn một chút. Có thể không nhất thiết phải bắt buộc phải có Yaml nhưng bạn cần thứ gì đó để phân tích cú pháp chuỗi json. Nếu tệp S3 không nhất thiết phải là CSV thì đây có thể là một cách khắc phục nhanh chóng.

Xử lý với nhiều cấu hình AWS SẼ ĐƯỢC hỗ trợ, được lên lịch trên v1.2.0.

Việc triển khai phải như sau:

pd.read_csv(
  's3://bucket/path', 
  storage_options={
    'aws_access_key_id': 'xxxxxxxxxx',
    'aws_secret_access_key': 'yyyyyyyyyy'})

https://github.com/pandas-dev/pandas/pull/35381 https://github.com/pandas-dev/pandas/blob/df32e83f36bf485be803be2b87d23135be30540a/pandas/io/parsers.py#L358