Làm thế nào để xóa tất cả dữ liệu sông băng?


29

Tôi đang sử dụng một công cụ trên Mac OS X có tên Arq để sao lưu dữ liệu của mình, nhưng tôi thấy rất khó để tải lên tất cả nội dung của mình vì tôi không và không thể có kết nối internet đủ nhanh cho nó.

Vì vậy, tôi quyết định xóa tất cả các bản sao lưu của mình, nhưng bất cứ khi nào tôi thử từ phần mềm, nó không làm gì cả.

Tôi cũng đã thử FastGlacier trên máy windows khác của mình, nó bị treo và chiếm quá nhiều tài nguyên.

Tôi đã tự hỏi nếu có một cách dễ dàng để làm điều này.

PS Sông băng của tôi có ~ 450 GB trong kho lưu trữ 341907


Lưu ý cho người dùng Arq - xem câu trả lời từ nhà phát triển Arq Stefan Reitshamer bên dưới. Tránh đau đầu khi thiết lập mtglacier và chỉ cần sử dụng công cụ được tích hợp trong Arq!
joewiz

Câu trả lời:


26

Thanh lọc từ dự án này hoạt động độc đáo: https://github.com/vsespb/mt-aws-glacier

Cài đặt, sau đó chạy các lệnh này (thay thế tên vault bằng tên của vault của bạn):

mtglacier retrieve-inventory --config glacier.cfg --vault vault-name

Đợi khoảng 2 giờ, và sau đó

mtglacier download-inventory --config glacier.cfg --vault vault-name --new-journal vault-name.log
mtglacier purge-vault --config glacier.cfg --vault vault-name --journal vault-name.log

Cảm ơn bạn rất nhiều vì điều này, nhưng thật đáng buồn là tôi không có kho lưu trữ sông băng nào để thử nghiệm với nó, vì vậy xin vui lòng nếu có ai kiểm tra nó cho tôi biết để đánh dấu câu trả lời chính xác.
Shereef Marzouk

Cảm ơn phản hồi @CamiloNova Tôi đã chọn đây là câu trả lời hay nhất dựa trên phản hồi của bạn ^ _ ^
Shereef Marzouk

Tôi đã phải chờ gần 4 giờ để có thể tải xuống kho
Parag

1
Phương pháp này dường như nhanh hơn nhiều so với glacier-vault-remove. Phương pháp này đã có thể xóa 350GB dữ liệu trong vài giờ, trong khi glacier-vault-removechỉ xóa khoảng 30 GB dữ liệu mỗi 12 giờ.
gbmhunter

Tôi nhận ra câu trả lời này được đánh dấu là giải pháp đã được xác nhận, nhưng đối với người dùng Arq như poster ban đầu, câu trả lời của Stefan Reitsham dưới đây là tốt nhất. Arq có một công cụ tích hợp để xóa Glacier Vaults. Không cần phải loay hoay với mtglacier. Chỉ cần đọc câu trả lời, và bạn đã hoàn tất.
joewiz

15

https://github.com/leeroybrun/glacier-vault-remove đã được tạo cho mục đích chính xác này.

Để xóa vault, trước tiên hãy cài đặt các phụ thuộc:

$ git clone https://github.com/leeroybrun/glacier-vault-remove.git
$ cd glacier-vault-remove
$ python setup.py install

Sau đó tạo một tệp thông tin đăng nhập, credentials.jsontrong cùng một thư mục:

{
  "AWSAccessKeyId": "YOURACCESSKEY",
  "AWSSecretKey":   "YOURSECRETKEY"
}

Sau đó chạy đoạn script như thế này

$ python removeVault.py REGION-NAME VAULT-NAME

Thí dụ :

$ python removeVault.py us-east-1 my_vault

1
Kịch bản này chậm hơn nhiều so với mt-aws-glacier tại thời điểm hiện tại
Dan Poltawski

Ngoài ra, nó ăn rất nhiều RAM. Tôi đang cố gắng xóa khoảng 120.000 lưu trữ trên máy chủ vào lúc 1142 trong 125413, nó đã sử dụng hơn 1 GB bộ nhớ (và nó sẽ tăng lên với mỗi kho lưu trữ).
aaronk6

7

Nếu bạn xóa thư mục được hỗ trợ bởi Glacier trong Arq, nó sẽ đi vào thùng rác của Arq. Nếu bạn chọn nó trong thùng rác của Arq và nhấp vào "Xóa vĩnh viễn", Arq sẽ xóa tất cả các tài liệu lưu trữ của Glacier và cố gắng xóa hầm Glacier. Việc xóa vault có thể thất bại vì Amazon phải cập nhật "kho" của mình, điều này thực hiện một lần / ngày. Ngày hôm sau, duyệt trong "Bộ sao lưu khác" trong Arq, tìm vault đó, chọn nó và nhấp vào "Xóa" để xóa nó.

Nếu bạn có một vault không liên quan đến bất kỳ bản sao lưu Arq nào, hãy chọn "Legacy Glacier Vaults" từ menu của Arq, chọn vault và nhấp vào nút để xóa.


Cảm ơn, Stefan! Tôi đã vật lộn trong nhiều ngày để tìm ra cách xóa Arq vaults của tôi, không cài đặt mtglacier trên máy Mac của tôi, tạo ra một phiên bản dropcloud ub Ubuntu để chạy mtglacier, và toàn bộ thời gian này, giải pháp đã có ngay trong Arq.
joewiz

5

Bạn có thể sử dụng một sản phẩm phần mềm miễn phí như Cloud tweet Explorer http://www.cloudberrylab.com/free

Lưu ý, dữ liệu Glacier không có sẵn ngay lập tức. bạn cần đợi 24 giờ để hàng tồn kho toàn cầu xuất hiện ở phía Amazon, sau đó bạn nên nhấp vào nút Nhận hàng tồn kho và đợi thêm 5 giờ để nhận được khoảng không quảng cáo cho tài khoản của mình.

Cảm ơn


Tôi không có gì ngoài sông băng trên tài khoản đó, vì vậy tôi vừa xóa tài khoản aws của mình, sẽ đánh dấu nó là câu trả lời chính xác kể từ đó, tôi nghĩ rằng nó sẽ hoạt động nếu tôi đã thử nó.
Shereef Marzouk

Không thực sự là một câu trả lời hay vì sản phẩm này không chạy trên OSX.
dùng3353

1

Tôi biết câu hỏi này đã được trả lời cách đây một thời gian, nhưng tôi nghĩ rằng điều này có thể giúp một số người vì việc xóa dữ liệu Glacier vẫn còn rất cồng kềnh.

Tôi không thấy đề xuất này ở bất cứ đâu ... nhưng nếu bạn chỉ sử dụng AWS cho Glacier (mà tôi cho là phải phù hợp với nhiều người), bạn có thể xem xét việc đóng tài khoản AWS của mình! Đó là những gì tôi đã làm sau nhiều ngày cố gắng không hiệu quả trong việc xóa dữ liệu bằng nhiều công cụ khác nhau.

Khi bạn đóng tài khoản của mình, Amazon sẽ xóa dữ liệu của bạn (được cho là cuối cùng họ sẽ lấy lại không gian đĩa ít nhất) và bạn sẽ nhận được biên nhận cuối cùng trong tháng. Tạm biệt Amazon!


Tôi đã sử dụng nhiều dịch vụ amazon khác và không muốn mất họ, và tôi đoán nhiều người sử dụng amazon để mua công cụ, nhưng nó tốt để có một nơi nào bằng văn bản này cho những người mà không bao giờ sử dụng amazon cho cái gì khác
Shereef Marzouk

@ShereefMarzouk Chà, khi bạn đóng tài khoản của mình trong bảng điều khiển AWS, thực ra tài khoản AWS của bạn đang đóng chứ không phải tài khoản Amazon mà bạn đang sử dụng để mua hàng. Vì vậy, bạn vẫn có thể sử dụng các dịch vụ khác của Amazon (miễn là chúng không phải là một phần của AWS) như bình thường.
Mẫu

0

Cách xóa Vault (AWS Glacier)

Gist này đưa ra một số mẹo để xóa AWS Glacier Vaultbằng AWS CLI (ví dụ: https://aws.amazon.com/en/cli/ ).

Bước 1 / Lấy lại hàng tồn kho

$ aws glacier initiate-job --job-parameters "{\"Type\": \"inventory-retrieval\"}" --vault-name YOUR_VAULT_NAME --account-id YOUR_ACCOUNT_ID --region YOUR_REGION

Đợi trong 3/5 giờ Trò chơi :-(

Đối với bước mới, bạn cần có được JobId. Khi kiểm kê lại hoàn thành, bạn có thể lấy nó bằng lệnh sau:aws glacier list-jobs --vault-name YOUR_VAULT_NAME --region YOUR_REGION

Bước 2 / Nhận ArchivesIds

$ aws glacier get-job-output --job-id YOUR_JOB_ID --vault-name YOUR_VAULT_NAME --region YOUR_REGION ./output.json

Xem. Tải xuống kho Vault trong Amazon Glacier

Bạn có thể nhận được tất cả ArchiveIdtrong các ./output.jsontập tin.

Bước 3 / Xóa tài liệu lưu trữ

Quyền hạn

từ @vinyar

$input_file_name = 'output.json'
$vault_name = 'my_vault'
# $account_id = 'AFDKFKEKF9EKALD' #not used. using - instead

$a = ConvertFrom-Json $(get-content $input_file_name)

$a.ArchiveList.archiveid | %{
write "executing: aws glacier delete-archive --archive-id=$_ --vault-name $vault_name --account-id -"
aws glacier delete-archive --archive-id=$_ --vault-name $vault_name --account-id - }

Con trăn

từ @robweber

ijson , mà đọc trong tệp như một luồng thay thế. Bạn có thể cài đặt nó với pip

import ijson, subprocess

input_file_name = 'output.json'
vault_name = ''
account_id = ''

f = open(input_file_name)
archive_list = ijson.items(f,'ArchiveList.item')

for archive in archive_list:
    print("Deleting archive " + archive['ArchiveId'])
    command = "aws glacier delete-archive --archive-id='" + archive['ArchiveId'] + "' --vault-name " + vault_name + " --acc$
    subprocess.run(command, shell=True, check=True)

f.close()

PHP

từ @Remiii

<?php

$file = './output.json' ;
$accountId = 'YOUR_ACCOUNT_ID' ;
$region = 'YOUR_REGION' ;
$vaultName = 'YOUR_VAULT_NAME' ;

$string = file_get_contents ( $file ) ;
$json = json_decode($string, true ) ;
foreach ( $json [ 'ArchiveList' ] as $jsonArchives )
{
    echo 'Delete Archive: ' . $jsonArchives [ 'ArchiveId' ] . "\n" ;
    exec ( 'aws glacier delete-archive --archive-id="' . $jsonArchives [ 'ArchiveId' ] . '" --vault-name ' . $vaultName . ' --account-id ' . $accountId . ' --region ' . $region , $output ) ;
    echo $output ;
}

Đánh dấu: Sau khi bạn xóa kho lưu trữ, nếu bạn tải xuống ngay kho lưu trữ kho tiền, nó có thể bao gồm kho lưu trữ đã xóa trong danh sách vì Amazon Glacier chỉ chuẩn bị kho lưu trữ kho tiền khoảng một lần một ngày.

Xem. Xóa một Lưu trữ trong Amazon Glacier

Bước 4 / Xóa một Vault

$ aws glacier delete-vault --vault-name YOUR_VAULT_NAME --account-id YOUR_ACCOUNT_ID --region YOUR_REGION

Gist ban đầu bởi @Remiii

Ok Vì vậy, một vài năm trước tôi đã đóng tài khoản của mình và chỉ mở lại vài tháng trước và đoán xem amazon vẫn còn 3TB của tôi trên tài khoản của tôi và bây giờ tôi đã nhận được hóa đơn cho họ trong vài tháng qua.

Vì vậy, tôi đã trở lại câu hỏi này và thấy rằng:

  • mt-aws-glacier gần như không thể thiết lập trên Ubuntu mới nhất sau đó chuyển sang 12.04 awscli không có ở đó, sau đó đến ngày 14.04 có lỗi về chữ ký của tôi ...
  • Câu trả lời Arq không còn phù hợp trong Arq 5
  • Sau đó, tôi tìm thấy ý chính ở trên và sao chép nó ở đây vì nó tốt hơn cho cộng đồng
  • Đã thử Cloudberry và có vẻ như nó sẽ hoạt động. Tôi sẽ cập nhật tại đây sau 4 ~ 10 giờ

-1

Trên Mac, bạn có thể thử sử dụng ứng dụng ForkLift (miễn phí để đánh giá) có thể kết nối với Amazon S3.


Tôi đã kết nối với Amazon S3 nhưng nó không hiển thị cho tôi bất cứ điều gì. Tôi có phải chỉ định một máy chủ khác ngoài s3.amazonaws.com để truy cập sông băng không?
Kevin

Xin lỗi, cách đây một thời gian đối với tôi bây giờ ... Tôi không thể nhớ lại cuối cùng tôi đã sửa nó như thế nào ... Tôi nghĩ rằng nó có thể đã được thông qua các công cụ dòng lệnh được liệt kê trong một trong những bài viết khác này.
Marius

1
Sông băng không phải là S3. Chúng đều là một phần của Dịch vụ web Amazon và cả hai đều được sử dụng để lưu trữ tệp, nhưng chúng có các trường hợp sử dụng, cấu trúc thanh toán, hạn chế và API khác nhau. Do đó, các công cụ S3 không hoạt động với các công cụ Glacier và Glacier không hoạt động với S3 (mặc dù điều đó không có nghĩa là không có công cụ nào tương thích với cả S3 và Glacier, được viết bằng các trình xử lý mạng riêng biệt và logic ứng dụng cho từng dịch vụ) .
Slipp D. Thompson
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.