Tôi nhận thấy rằng dường như không có tùy chọn tải xuống toàn bộ nhóm S3 từ Bảng điều khiển quản lý AWS.
Có cách nào dễ dàng để lấy mọi thứ trong một trong các thùng của tôi không? Tôi đã suy nghĩ về việc làm cho thư mục gốc được công khai, sử dụng wgetđể lấy tất cả, và sau đó đặt nó ở chế độ riêng tư nhưng tôi không biết liệu có cách nào dễ dàng hơn không.
Câu trả lời:
Xem " Tham khảo lệnh AWS CLI " để biết thêm thông tin.
AWS gần đây đã phát hành Công cụ dòng lệnh của họ, hoạt động giống như boto và có thể được cài đặt bằng cách sử dụng
sudo easy_install awscli
hoặc là
sudo pip install awscli
Sau khi cài đặt, bạn có thể chạy một cách đơn giản:
aws s3 sync s3://<source_bucket> <local_destination>
Ví dụ:
aws s3 sync s3://mybucket .
sẽ tải tất cả các đối tượng vào mybucketthư mục hiện tại.
Và sẽ xuất ra:
download: s3://mybucket/test.txt to test.txt
download: s3://mybucket/test2.txt to test2.txt
Điều này sẽ tải xuống tất cả các tệp của bạn bằng cách sử dụng đồng bộ một chiều. Nó sẽ không xóa bất kỳ tệp hiện có trong thư mục hiện tại của bạn trừ khi bạn chỉ định và nó sẽ không thay đổi hoặc xóa bất kỳ tệp nào trên S3. --delete
Bạn cũng có thể thực hiện xô S3 sang xô S3 hoặc đồng bộ hóa nhóm cục bộ sang S3.
Kiểm tra các tài liệu và các ví dụ khác .
Trong khi ví dụ trên là cách tải xuống một thùng đầy đủ, bạn cũng có thể tải xuống một thư mục theo cách đệ quy bằng cách thực hiện
aws s3 cp s3://BUCKETNAME/PATH/TO/FOLDER LocalFolderName --recursive
Điều này sẽ hướng dẫn CLI tải xuống tất cả các tệp và khóa thư mục theo cách đệ quy trong PATH/TO/FOLDERthư mục trong BUCKETNAMEnhóm.
aws configurevà thêm của bạn access keyvà secret access keycó thể được tìm thấy ở đây .
s3cmdvà Cyberduck, nhưng đối với tôi awsclilà cách nhanh nhất để tải xuống ~ 70.000 tệp từ nhóm của tôi.
Bạn có thể sử dụng s3cmdđể tải xuống xô của mình:
s3cmd --configure
s3cmd sync s3://bucketnamehere/folder /destination/folder
Có một công cụ khác mà bạn có thể sử dụng được gọi là rclone. Đây là một mẫu mã trong tài liệu Rclone:
rclone sync /home/local/directory remote:bucket
Tôi đã sử dụng một vài phương pháp khác nhau để sao chép dữ liệu Amazon S3 sang máy cục bộ, bao gồm s3cmd, và cho đến nay, dễ nhất là Cyberduck .
Tất cả những gì bạn cần làm là nhập thông tin đăng nhập Amazon của bạn và sử dụng giao diện đơn giản để tải xuống, tải lên, đồng bộ hóa bất kỳ nhóm, thư mục hoặc tệp nào của bạn.
Bạn có nhiều lựa chọn để làm điều đó, nhưng lựa chọn tốt nhất là sử dụng AWS CLI.
Đây là một hướng dẫn:
Tải xuống và cài đặt AWS CLI trong máy của bạn:
Cấu hình AWS CLI:
Đảm bảo bạn nhập quyền truy cập hợp lệ và khóa bí mật mà bạn đã nhận được khi tạo tài khoản.
Đồng bộ hóa thùng S3 bằng cách sử dụng:
aws s3 sync s3://yourbucket /local/path
Trong lệnh trên, thay thế các trường sau:
yourbucket >> thùng S3 của bạn mà bạn muốn tải xuống./local/path >> đường dẫn trong hệ thống cục bộ của bạn, nơi bạn muốn tải xuống tất cả các tệp.s3://tiền tố đó trong tên xô !!! Với aws s3 lsbạn không cần s3://tiền tố đó nhưng bạn cần cplệnh.
Để tải xuống bằng AWS S3 CLI:
aws s3 cp s3://WholeBucket LocalFolder --recursive
aws s3 cp s3://Bucket/Folder LocalFolder --recursive
Để tải xuống bằng mã, sử dụng SDK AWS.
Để tải xuống bằng GUI, hãy sử dụng Cyberduck.
aws s3 cp s3://my-bucket-name ./local-folder --recursive --include "*" --exclude "excludeFolder/*" --exclude "includeFolder/excludeFile.txt"
Đối với Windows, Trình duyệt S3 là cách dễ nhất mà tôi đã tìm thấy. Đây là phần mềm tuyệt vời và miễn phí cho sử dụng phi thương mại.
Nếu bạn sử dụng Visual Studio, hãy tải xuống " Bộ công cụ AWS cho Visual Studio ".
Sau khi cài đặt, hãy truy cập Visual Studio - AWS Explorer - S3 - Nhóm của bạn - Nhấp đúp chuột
Trong cửa sổ, bạn sẽ có thể chọn tất cả các tập tin. Nhấp chuột phải và tải tập tin.
Câu trả lời của @Layke là tốt, nhưng nếu bạn có rất nhiều dữ liệu và không muốn đợi mãi, bạn nên đọc " Cấu hình AWS CLI S3 ".
Các lệnh sau sẽ yêu cầu AWS CLI sử dụng 1.000 luồng để thực thi công việc (mỗi tệp nhỏ hoặc một phần của bản sao nhiều phần) và xem trước 100.000 công việc:
aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000
Sau khi chạy chúng, bạn có thể sử dụng synclệnh đơn giản :
aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path
hoặc là
aws s3 sync s3://source-bucket/source-path c:\my\local\data\path
Trên hệ thống có lõi CPU 4 và RAM 16 GB, đối với các trường hợp như của tôi (tệp 3-50 GB), tốc độ đồng bộ / sao chép đã tăng từ khoảng 9,5MiB / s lên 700 + MiB / s, tốc độ tăng 70 lần so với cấu hình mặc định.
Một tùy chọn khác có thể giúp một số người dùng OS X là Transmit.
Đây là một chương trình FTP cũng cho phép bạn kết nối với các tệp S3 của mình. Và, nó có một tùy chọn để gắn kết bất kỳ bộ lưu trữ FTP hoặc S3 nào dưới dạng thư mục trong Finder, nhưng nó chỉ trong một thời gian giới hạn.
Tôi đã thực hiện một chút phát triển cho S3 và tôi chưa tìm thấy cách đơn giản nào để tải xuống toàn bộ nhóm.
Nếu bạn muốn viết mã bằng Java, jets3t lib rất dễ sử dụng để tạo danh sách các nhóm và lặp qua danh sách đó để tải xuống.
Trước tiên, hãy lấy một khóa riêng tư được thiết lập từ lãnh sự quản lý AWS để bạn có thể tạo một đối tượng S3service:
AWSCredentials awsCredentials = new AWSCredentials(YourAccessKey, YourAwsSecretKey);
s3Service = new RestS3Service(awsCredentials);
Sau đó, lấy một mảng các đối tượng xô của bạn:
S3Object[] objects = s3Service.listObjects(YourBucketNameString);
Cuối cùng, lặp lại qua mảng đó để tải xuống từng đối tượng một:
S3Object obj = s3Service.getObject(bucket, fileName);
file = obj.getDataInputStream();
Tôi đặt mã kết nối trong một singleton singleton. Cú pháp thử / bắt cần thiết đã bị bỏ qua vì những lý do rõ ràng.
Nếu bạn muốn viết mã bằng Python, bạn có thể sử dụng Boto thay thế.
Sau khi tìm kiếm xung quanh BuckExplorer, " Tải xuống toàn bộ nhóm " có thể làm những gì bạn muốn.
API sdk AWS sẽ chỉ có tùy chọn tốt nhất để tải lên toàn bộ thư mục và repo lên s3 và tải toàn bộ nhóm s3 về cục bộ.
Để tải toàn bộ thư mục lên s3
aws s3 sync . s3://BucketName
để tải xuống toàn bộ thùng s3 cục bộ
aws s3 sync s3://BucketName .
bạn cũng có thể gán đường dẫn Giống như BuckName / Path cho thư mục cụ thể trong s3 để tải xuống
Bạn có thể làm điều này với https://github.com/minio/mc :
mc cp -r https://s3-us-west-2.amazonaws.com/bucketName/ localdir
mc cũng hỗ trợ các phiên, tải xuống có thể tiếp tục, tải lên và nhiều hơn nữa. mchỗ trợ các hệ điều hành Linux, OS X và Windows. Được viết bằng Golang và phát hành theo Phiên bản Apache 2.0.
Nếu bạn sử dụng Firefox với S3Fox, điều đó cho phép bạn chọn tất cả các tệp (chọn ca trước và cuối cùng) và nhấp chuột phải và tải xuống tất cả ... Tôi đã thực hiện với hơn 500 tệp có vấn đề.
Khi ở trong Windows, công cụ GUI ưa thích của tôi cho cái này là Cloudberry Explorer cho S3., Http://www.cloudberrylab.com/free-amazon-s3-explorer-cloudfront-IAM.aspx . Có một trình thám hiểm tệp khá trau chuốt, giao diện giống như ftp.
Nếu bạn chỉ có các tệp ở đó (không có thư mục con), một giải pháp nhanh là chọn tất cả các tệp ( clicktrên đầu tiên, Shift+clickcuối cùng) và nhấn Enterhoặc right clickvà chọn Open. Đối với hầu hết các tệp dữ liệu, điều này sẽ tải chúng thẳng về máy tính của bạn.
Để thêm tùy chọn GUI khác, chúng tôi sử dụng chức năng S3 của WinSCP . Rất dễ dàng để kết nối, chỉ yêu cầu khóa truy cập và khóa bí mật của bạn trong giao diện người dùng. Sau đó, bạn có thể duyệt và tải xuống bất kỳ tệp nào bạn yêu cầu từ bất kỳ nhóm có thể truy cập nào, bao gồm tải xuống đệ quy các thư mục lồng nhau.
Vì nó có thể là một thách thức để xóa phần mềm mới thông qua bảo mật và WinSCP khá phổ biến, nên có thể thực sự có ích khi chỉ sử dụng nó thay vì cố gắng cài đặt một tiện ích chuyên dụng hơn.
Người dùng Windows cần tải xuống S3EXPLORER từ liên kết này cũng có hướng dẫn cài đặt: - http://s3browser.com/doad.aspx
Sau đó cung cấp cho bạn thông tin xác thực AWS như secretkey, accesskey và vùng cho s3explorer, liên kết này chứa hướng dẫn cấu hình cho s3explorer: Sao chép Paste Link trong brower: s3browser.com/s3browser-first-run.aspx
Bây giờ tất cả các thùng s3 của bạn sẽ hiển thị trên bảng điều khiển bên trái của s3explorer.
Chỉ cần chọn thùng và nhấp vào menu Buckets ở góc trên cùng bên trái, sau đó chọn Tải xuống tất cả các tệp để tùy chọn từ menu. Dưới đây là ảnh chụp màn hình cho cùng:
Sau đó duyệt một thư mục để tải xuống xô tại một địa điểm cụ thể
Nhấp vào OK và tải xuống của bạn sẽ bắt đầu.
đồng bộ aws là giải pháp hoàn hảo. Nó không làm theo hai cách .. nó là một cách từ nguồn đến đích. Ngoài ra, nếu bạn có nhiều mục trong nhóm, bạn nên tạo điểm cuối s3 trước để quá trình tải xuống diễn ra nhanh hơn (vì tải xuống không xảy ra qua internet mà qua mạng nội bộ) và không tính phí
Dưới đây là một số nội dung để tải xuống tất cả các nhóm, liệt kê chúng, liệt kê nội dung của chúng.
//connection string
private static void dBConnection() {
app.setAwsCredentials(CONST.getAccessKey(), CONST.getSecretKey());
conn = new AmazonS3Client(app.getAwsCredentials());
app.setListOfBuckets(conn.listBuckets());
System.out.println(CONST.getConnectionSuccessfullMessage());
}
private static void downloadBucket() {
do {
for (S3ObjectSummary objectSummary : app.getS3Object().getObjectSummaries()) {
app.setBucketKey(objectSummary.getKey());
app.setBucketName(objectSummary.getBucketName());
if(objectSummary.getKey().contains(CONST.getDesiredKey())){
//DOWNLOAD
try
{
s3Client = new AmazonS3Client(new ProfileCredentialsProvider());
s3Client.getObject(
new GetObjectRequest(app.getBucketName(),app.getBucketKey()),
new File(app.getDownloadedBucket())
);
} catch (IOException e) {
e.printStackTrace();
}
do
{
if(app.getBackUpExist() == true){
System.out.println("Converting back up file");
app.setCurrentPacsId(objectSummary.getKey());
passIn = app.getDataBaseFile();
CONVERT= new DataConversion(passIn);
System.out.println(CONST.getFileDownloadedMessage());
}
}
while(app.getObjectExist()==true);
if(app.getObjectExist()== false)
{
app.setNoObjectFound(true);
}
}
}
app.setS3Object(conn.listNextBatchOfObjects(app.getS3Object()));
}
while (app.getS3Object().isTruncated());
}
/ ---------------------------- Phương thức mở rộng ------------------- ------------------ /
//Unzip bucket after download
public static void unzipBucket() throws IOException {
unzip = new UnZipBuckets();
unzip.unZipIt(app.getDownloadedBucket());
System.out.println(CONST.getFileUnzippedMessage());
}
//list all S3 buckets
public static void listAllBuckets(){
for (Bucket bucket : app.getListOfBuckets()) {
String bucketName = bucket.getName();
System.out.println(bucketName + "\t" + StringUtils.fromDate(bucket.getCreationDate()));
}
}
//Get the contents from the auto back up bucket
public static void listAllBucketContents(){
do {
for (S3ObjectSummary objectSummary : app.getS3Object().getObjectSummaries()) {
if(objectSummary.getKey().contains(CONST.getDesiredKey())){
System.out.println(objectSummary.getKey() + "\t" + objectSummary.getSize() + "\t" + StringUtils.fromDate(objectSummary.getLastModified()));
app.setBackUpCount(app.getBackUpCount() + 1);
}
}
app.setS3Object(conn.listNextBatchOfObjects(app.getS3Object()));
}
while (app.getS3Object().isTruncated());
System.out.println("There are a total of : " + app.getBackUpCount() + " buckets.");
}
}
Như Neel Bhaat đã giải thích trong blog này , có nhiều công cụ khác nhau có thể được sử dụng cho mục đích này. Một số được cung cấp AWS, trong đó hầu hết là các công cụ của bên thứ ba. Tất cả các công cụ này yêu cầu bạn lưu khóa tài khoản AWS và bí mật trong chính công cụ đó. Hãy thận trọng khi sử dụng các công cụ của bên thứ ba, vì thông tin đăng nhập bạn có thể khiến bạn phải trả giá, toàn bộ giá trị của bạn và khiến bạn chết.
Do đó, tôi luôn khuyên bạn nên sử dụng AWS CLI cho mục đích này. Bạn chỉ có thể cài đặt này từ liên kết này . Tiếp theo, chạy lệnh sau và lưu khóa, giá trị bí mật của bạn trong AWS CLI.
aws configure
Và sử dụng lệnh sau để đồng bộ hóa Nhóm AWS S3 của bạn với máy cục bộ. (Máy cục bộ nên cài đặt AWS CLI)
aws s3 sync <source> <destination>
Ví dụ:
1) Dành cho AWS S3 vào Bộ nhớ cục bộ
aws s3 sync <S3Uri> <LocalPath>
2) Từ Bộ nhớ cục bộ đến AWS S3
aws s3 sync <LocalPath> <S3Uri>
3) Từ xô AWS s3 sang xô khác
aws s3 sync <S3Uri> <S3Uri>
Nếu bạn chỉ muốn tải xuống nhóm từ AWS, trước tiên hãy cài đặt AWS CLI trong máy của bạn. Trong terminal, thay đổi thư mục đến nơi bạn muốn tải tập tin và chạy lệnh này.
aws s3 sync s3://bucket-name .
Nếu bạn cũng muốn đồng bộ hóa cả thư mục cục bộ và s3 (trong trường hợp bạn đã thêm một số tệp trong thư mục cục bộ), hãy chạy lệnh này:
aws s3 sync . s3://bucket-name
AWS CLI là tùy chọn tốt nhất để tải xuống toàn bộ nhóm S3 cục bộ.
Cài đặt AWS CLI.
Định cấu hình AWS CLI để sử dụng thông tin xác thực bảo mật mặc định và Vùng AWS mặc định.
Để tải xuống toàn bộ nhóm S3, sử dụng lệnh
aws s3 sync s3: // yourbucketname localpath
Tham khảo để sử dụng AWS cli cho các dịch vụ AWS khác nhau: https://docs.aws.amazon.com/cli/latest/reference/
Bạn có thể sử dụng lệnh AWS cli này để tải xuống toàn bộ nội dung nhóm S3 vào thư mục cục bộ
aws s3 sync s3://your-bucket-name "Local Folder Path"
Nếu bạn thấy lỗi như thế này
fatal error: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)
--no-verify-ssl (boolean)
Theo mặc định, AWS CLI sử dụng SSL khi giao tiếp với các dịch vụ AWS. Đối với mỗi kết nối SSL, AWS CLI sẽ xác minh chứng chỉ SSL. Tùy chọn này ghi đè hành vi mặc định của việc xác minh chứng chỉ SSL. tài liệu tham khảo
Sử dụng thẻ này với lệnh --no-verify-ssl
aws s3 sync s3://your-bucket-name "Local Folder Path" --no-verify-ssl
s3 syncđược bảo hiểm trên nhiều lần rồi. + Đề xuất sử dụng --no-verify-sslmà không giải thích hậu quả bảo mật của nó là một tội ác.
Nếu thùng khá lớn, có một lệnh được gọi là s4cmdtạo các kết nối song song và cải thiện thời gian tải xuống:
Để cài đặt nó trên Debian như
apt install s4cmd
Nếu bạn có pip:
pip install s4cmd
Nó sẽ đọc ~/.s3cfgtệp nếu có (nếu không cài đặt s3cmdvà chạy s3cmd --configure) hoặc bạn có thể chỉ định --access-key=ACCESS_KEY --secret-key=SECRET_KEYtrên lệnh.
Các cli tương tự như s3cmd. Trong trường hợp của bạn, a syncđược khuyến nghị vì bạn có thể hủy tải xuống và bắt đầu lại mà không cần phải tải lại các tệp.
s4cmd [--access-key=ACCESS_KEY --secret-key=SECRET_KEY] sync s3://<your-bucket> /some/local/dir
Hãy cẩn thận nếu bạn tải xuống nhiều dữ liệu (> 1TB) điều này có thể ảnh hưởng đến hóa đơn của bạn, trước tiên hãy tính toán đó sẽ là chi phí
Như @layke đã nói, cách tốt nhất để tải xuống tệp từ S3 là một cách an toàn và bảo mật. Nhưng trong một số trường hợp, mọi người cần sử dụng wget để tải xuống tệp và đây là giải pháp
aws s3 presign s3://<your_bucket_name/>
Điều này sẽ được đặt trước sẽ giúp bạn có URL công khai tạm thời mà bạn có thể sử dụng để tải xuống nội dung từ S3 bằng presign_url, trong trường hợp của bạn bằng cách sử dụng wget hoặc bất kỳ ứng dụng khách tải xuống nào khác.
aws s3 synclà tốt nhất. Nhưng không ai chỉ ra một lựa chọn mạnh mẽ :dryrun. Tùy chọn này cho phép bạn xem những gì sẽ được tải xuống / tải lên từ / đến s3 khi bạn đang sử dụngsync. Điều này thực sự hữu ích khi bạn không muốn ghi đè nội dung trong địa phương hoặc trong nhóm s3. Đây là cách sử dụng:aws s3 sync <source> <destination> --dryrunTôi đã sử dụng nó mọi lúc trước khi đẩy nội dung mới vào một thùng để không tải lên các thay đổi không mong muốn.