Tôi đang bắt đầu một tập lệnh bash sẽ lấy một đường dẫn trong S3 (như được chỉ định cho lệnh ls ) và kết xuất nội dung của tất cả các đối tượng tệp vào stdout. Về cơ bản, tôi muốn sao chép cat /path/to/files/*ngoại trừ S3, ví dụ s3cat '/bucket/path/to/files/*'. Xu hướng đầu tiên của tôi khi xem xét các tùy chọn là sử dụng cplệnh cho một tệp tạm thời và sau đó catlà lệnh đó.
Có ai đã thử điều này hoặc tương tự hoặc đã có một lệnh mà tôi không tìm thấy nó không?
Câu trả lời:
kết xuất nội dung của tất cả các đối tượng tệp sang stdout.
Bạn có thể thực hiện điều này nếu bạn vượt qua -đích đến của aws s3 cplệnh. Ví dụ $ aws s3 cp s3://mybucket/stream.txt -,.
Những gì bạn đang cố gắng làm là một cái gì đó như thế này? ::
#!/bin/bash
BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
echo $key
aws s3 cp s3://$BUCKET/$key - | md5sum
done
aws --version: aws-cli/1.15.40 Python/3.6.5 Darwin/17.7.0 botocore/1.10.40)
Nếu bạn đang sử dụng phiên bản AWS CLI không hỗ trợ sao chép sang "-", bạn cũng có thể sử dụng / dev / stdout:
$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout
Bạn cũng có thể muốn --quietcờ ngăn dòng tóm tắt như sau được nối vào đầu ra của bạn:
tải xuống: s3: //mybucket/stream.txt tới ../../dev/stdout
Bạn có thể thử sử dụng s3streamcat , nó cũng hỗ trợ các định dạng bzip, gzip và xz.
Cài đặt với
sudo pip install s3streamcat
Sử dụng:
s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something
À ha!
https://pypi.python.org/pypi/s3cat/1.0.8
Tôi đang viết thêm ký tự để đáp ứng yêu cầu về độ dài.
Nếu bạn muốn thực hiện điều này bằng BASH, bạn sẽ phải gọi ra một ứng dụng bên ngoài như Giao diện dòng lệnh AWS (CLI). Nó không có CAT tương đương, vì vậy bạn sẽ cần sao chép tệp cục bộ và sau đó CAT nó.
Ngoài ra, bạn có thể sử dụng / viết một ứng dụng gọi trực tiếp AWS SDK, có sẵn cho các ngôn ngữ như Python, PHP, Java. Bằng cách sử dụng SDK, nội dung tệp có thể được truy xuất trong bộ nhớ và sau đó được gửi đến stdout.