Sao chép cấu trúc thư mục nguyên vẹn vào thùng AWS S3

Tôi muốn sử dụng cli AWS S3 để sao chép cấu trúc thư mục đầy đủ vào nhóm S3.

Cho đến nay, mọi thứ tôi đã thử sao chép các tệp vào nhóm, nhưng cấu trúc thư mục bị thu gọn. (nói cách khác, mỗi tệp được sao chép vào thư mục gốc của nhóm)

Lệnh tôi sử dụng là:

aws s3 cp --recursive ./logdata/ s3://bucketname/

Tôi cũng đã cố gắng loại bỏ dấu gạch chéo trên chỉ định nguồn của mình (nghĩa là bản sao từ đối số). Tôi cũng đã sử dụng ký tự đại diện để chỉ định tất cả các tệp ... mỗi điều tôi cố gắng chỉ cần sao chép các tệp nhật ký vào thư mục gốc của nhóm.

Tôi tin rằng đồng bộ hóa là phương pháp bạn muốn. Hãy thử điều này thay thế:

aws s3 sync ./logdata s3://bucketname/

Tôi đã phải đối mặt với lỗi này trong khi sử dụng một trong hai lệnh này.

$ aws s3 cp --recursive /local/dir s3://s3bucket/
OR
$ aws s3 sync /local/dir s3://s3bucket/

Tôi thậm chí đã nghĩ đến việc gắn thùng S3 cục bộ và sau đó chạy rsync, thậm chí điều đó không thành công (hoặc bị treo trong vài giờ) khi tôi có hàng ngàn tệp.

Cuối cùng, s3cmd làm việc như một lá bùa.

s3cmd sync /local/dir/ --delete-removed s3://s3bucket/ --exclude="some_file" --exclude="*directory*"  --progress --no-preserve

Điều này không chỉ làm tốt công việc và hiển thị đầu ra khá dài trên bảng điều khiển, mà còn tải lên các tệp lớn theo từng phần.

Sau đây làm việc cho tôi:

aws s3 cp ~/this_directory s3://bucketname/this_directory --recursive

AWS sau đó sẽ "thực hiện" this_directoryvà sao chép tất cả các nội dung địa phương vào đó.

Sử dụng tập lệnh sau để sao chép cấu trúc thư mục:

s3Folder="s3://xyz.abc.com/asdf";

for entry in "$asset_directory"*
do
    echo "Processing - $entry"
    if [[ -d  $entry ]]; then
        echo "directory"
        aws s3 cp  --recursive "./$entry" "$s3Folder/$entry/"
    else
        echo "file"
        aws s3 cp "./$entry" "$s3Folder/"
    fi
done

Tôi không thể nhận s3 synchoặc s3 cplàm việc trên một thư mục 55 GB với hàng ngàn tệp và hơn hai chục thư mục con bên trong. Cố gắng đồng bộ toàn bộ thư mục sẽ chỉ khiến awscli thất bại trong âm thầm mà không tải lên bất cứ thứ gì vào thùng.

Đã kết thúc việc này để trước tiên đồng bộ hóa tất cả các thư mục con và nội dung của chúng (cấu trúc thư mục được giữ nguyên):

nice find . -mindepth 1 -maxdepth 1 -type d | cut -c 3- | while read line; do aws s3 sync $"$line" "s3://bucketname/$line"; done

Sau đó, tôi đã làm điều này để có được 30.000 tệp ở cấp cao nhất:

nice find . -mindepth 1 -maxdepth 1 -type f | cut -c 3- | while read line; do aws s3 cp "$line" "s3://bucketname/";

Đảm bảo xem tải trên máy chủ (protip bạn có thể sử dụng wđể chỉ hiển thị tải) và ctrl-ztạm dừng lệnh nếu tải quá cao. ( fgđể tiếp tục một lần nữa).

Đặt điều này ở đây trong trường hợp nó giúp bất cứ ai trong tình huống tương tự.

Ghi chú:

-mindepth 1 không bao gồm .

-maxdepth 1ngăn tìm từ danh sách nội dung của các thư mục con, vì s3 syncxử lý chúng thành công.

cut -c 3- xóa "./" từ đầu mỗi kết quả khỏi find.

Ngoài ra, bạn cũng có thể thử minio client aka mc

$ mc cp Desktop/test/test/test.txt s3/miniocloud/Desktop/test/test/

Hy vọng nó sẽ giúp.

PS: Tôi là một trong những người đóng góp cho dự án.

(Cải thiện giải pháp của Shishir )

• Lưu tập lệnh sau vào một tệp (Tôi đặt tên tệp s3Copy.sh)

path=$1 # the path of the directory where the files and directories that need to be copied are located
s3Dir=$2 # the s3 bucket path

for entry in "$path"/*; do
    name=`echo $entry | sed 's/.*\///'`  # getting the name of the file or directory
    if [[ -d  $entry ]]; then  # if it is a directory
        aws s3 cp  --recursive "$name" "$s3Dir/$name/"
    else  # if it is a file
        aws s3 cp "$name" "$s3Dir/"
    fi
done

• Chạy nó như sau:
  /PATH/TO/s3Copy.sh /PATH/TO/ROOT/DIR/OF/SOURCE/FILESandDIRS PATH/OF/S3/BUCKET
  Ví dụ: nếu s3Copy.shđược lưu trong thư mục chính và tôi muốn sao chép tất cả các tệp và thư mục nằm trong thư mục hiện tại, sau đó tôi chạy nó:
  ~/s3Copy.sh . s3://XXX/myBucket

Bạn có thể dễ dàng sửa đổi kịch bản để cho phép lập luận khác s3 cpnhư --include, --exclude, ...