lấy đối tượng sửa đổi cuối cùng từ S3 CLI

Tôi có một trường hợp sử dụng trong đó tôi lập trình đưa ra một phiên bản EC2, sao chép và tệp thực thi từ S3, chạy nó và tắt phiên bản đó (được thực hiện trong dữ liệu người dùng). Tôi chỉ cần lấy tệp được thêm cuối cùng từ S3. Có cách nào để lấy tệp / đối tượng được sửa đổi cuối cùng từ thùng S3 bằng CLI không?

Bạn có thể liệt kê tất cả các đối tượng trong thùng với aws s3 ls $BUCKET --recursive:

$ aws s3 ls $BUCKET --recursive
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object
2015-04-29 12:09:29      32768 yet-another-object.sh

Chúng được sắp xếp theo thứ tự bảng chữ cái theo khóa, nhưng cột đầu tiên đó là lần sửa đổi cuối cùng. Nhanh chóng sortsẽ sắp xếp lại chúng theo ngày:

$ aws s3 ls $BUCKET --recursive | sort
2015-04-29 12:09:29      32768 yet-another-object.sh
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object

tail -n 1chọn hàng cuối cùng và awk '{print $4}'trích xuất cột thứ tư (tên của đối tượng).

$ aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'
some/other/object

Cuối cùng nhưng không kém phần quan trọng, hãy thả nó vào aws s3 cpđể tải xuống đối tượng:

$ KEY=`aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'`
$ aws s3 cp s3://$BUCKET/$KEY ./latest-object

Sau một thời gian, có một bản cập nhật nhỏ cách thực hiện điều đó một chút:

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'sort_by(Contents, &LastModified)[-1].Key' --output=text

Thay vì reversechức năng bổ sung, chúng ta có thể lấy mục cuối cùng từ danh sách qua[-1]

Câu trả lời cũ:

Lệnh này chỉ thực hiện công việc mà không có bất kỳ phụ thuộc bên ngoài nào:

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'reverse(sort_by(Contents, &LastModified))[:1].Key' --output=text

aws s3api list-objects-v2 --bucket "bucket-name" |jq  -c ".[] | max_by(.LastModified)|.Key"

Sau đây là tập lệnh bash, tải xuống tệp mới nhất từ ​​Nhóm S3. Thay vào đó, tôi đã sử dụng lệnh AWS S3 Synch để nó không tải xuống tệp từ S3 nếu đã tồn tại.

--exclude, loại trừ tất cả các tệp

- bao gồm, bao gồm tất cả các tệp phù hợp với mẫu

#!/usr/bin/env bash

    BUCKET="s3://my-s3-bucket-eu-west-1/list/"
    FILE_NAME=`aws s3 ls $BUCKET  | sort | tail -n 1 | awk '{print $4}'`
    TARGET_FILE_PATH=target/datdump/
    TARGET_FILE=${TARGET_FILE_PATH}localData.json.gz

    echo $FILE_NAME
    echo $TARGET_FILE

    aws s3 sync $BUCKET $TARGET_FILE_PATH --exclude "*" --include "*$FILE_NAME*"

    cp target/datdump/$FILE_NAME $TARGET_FILE

ps Cảm ơn @David Murray

Nếu đây là tệp mới được tải lên, bạn có thể sử dụng Lambda để thực thi một đoạn mã trên đối tượng S3 mới.

Nếu bạn thực sự cần lấy tệp mới nhất, bạn có thể đặt tên tệp với ngày trước, sắp xếp theo tên và lấy đối tượng đầu tiên.