Làm cách nào để tự động hóa khởi động phiên bản Amazon EC2, thực thi một số lệnh và tắt máy?

Tôi cần tải xuống 100 GB tệp (trong khoảng 150 tệp) trong khoảng thời gian 7 ngày trước khi chúng hết hạn. Quá trình tải xuống bị giới hạn tốc độ bởi máy chủ lưu trữ nên mất nhiều thời gian hơn tốc độ truyền lý thuyết dựa trên tốc độ Internet thông thường. Tôi có một tập lệnh curl http://curl.haxx.se/docs/manpage.html các lệnh - một dòng trên mỗi tệp.

Tôi có ý tưởng tự động quay vòng n phiên bản EC2, thực thi lệnh và FTP các tệp đến một vị trí trung tâm, sau đó tắt máy. Làm thế nào tôi sẽ làm điều này?

Tôi không quan tâm đó là Linux hay Windows.

Tôi sẽ khuyên bạn nên sử dụng một trong các AMI của Canonical kết hợp với cloud-init

https://help.ubfox.com/community/CloudInit

Tìm phần về "Tập lệnh dữ liệu người dùng" nơi bạn có thể sử dụng tệp --user-data-file để tự động khởi chạy tập lệnh khi khởi động. Vì vậy, bạn chỉ có thể đặt tất cả các lệnh bạn muốn chạy trong tập lệnh và đặt "shutdown -h now" ở cuối tập lệnh.

Tôi đã sử dụng boto để kịch bản những điều như vậy trước đây. Dễ nhất để quay các hình ảnh linux sau đó ssh vào chúng để chúng làm việc.

Không chắc chắn về giải pháp tốt nhất. Nhưng nếu bạn đang làm việc này một cách thường xuyên và cần một cái gì đó để tự động khởi động và dừng máy của bạn, thì bạn có thể muốn xem sản phẩm này: http://LabSlice.com (với tuyên bố từ chối trách nhiệm rằng tôi là CTO).

Vagrant với nhà cung cấp AWS thực hiện điều đó một cách dễ dàng và đa nền tảng.

Khi Vagrantfileđược tạo, sau đó bạn khởi chạy thể hiện với vagrant up, đăng nhập vào nó vagrant sshvà hủy nó với vagrant destroy. Siêu dễ.