Các nền tảng điện toán đám mây cho máy học [đóng]


36

Tôi đã có một danh sách nhỏ các công ty cung cấp nền tảng để chạy các tập lệnh R, python hoặc octave trên các cụm được xây dựng trên đỉnh amazon EC2. Có những cái tên khác tôi nên thêm?

  1. Đám mây
  2. Opani
  3. crdata


Bạn có thể tìm thấy nhiều tùy chọn hơn trong bài đăng trên blog này: blog.uruit.com/getting-started-with-machine-learning-2
Regiane Folter

Câu trả lời:


15

Tôi đã không sử dụng các công ty này, nhưng đây chỉ là một số tùy chọn. Tuy nhiên, thiết lập trên EC2 rất đơn giản. Ít nhất là sau khi bạn làm tê đầu mình bằng cách đập nó vào tường đủ mạnh và thường xuyên. Nó cũng làm tăng ngưỡng đau của bạn. Trẻ em ngày nay có nó dễ dàng hơn nhiều. Khi tôi bắt đầu, chúng tôi đã thực hiện điện toán sương mù: chúng tôi không có sương mù nhất với những gì chúng tôi đang tính toán.

Hồi tưởng sang một bên ... Công cụ và tài nguyên tồn tại để vượt qua các nhà cung cấp này và tự mình bắt đầu. JD Long đãsegue giúp việc bắt đầu sử dụng R trên EMR dễ dàng hơn.

Về Python, boto là bộ phần mềm cho phép tải Python lên và chạy dễ dàng trên EC2. Việc tải Python lên và chạy trên AppEngine của Google cũng khá dễ dàng , nếu bạn sẵn sàng xem xét một giải pháp thay thế EC2. Nếu bạn biết Python, thì thực sự không cần phải thuê một công ty để thực hiện việc nâng đỡ cho bạn, trừ khi bạn không quen với việc mở rộng quy mô, shending, cân bằng tải, v.v., thậm chí ở mức độ khái niệm. Mặt khác, nếu bạn dự tính chi nhiều tiền cho các dịch vụ như vậy, thì nên làm quen với cách làm cho mã của bạn hiệu quả.

Đối với Octave trên đám mây, tôi không biết cái gì tồn tại ngoài ba công ty này. Monkey Analytics đã từng cung cấp nó, nhưng dường như họ đã biến mất. Tôi khuyên bạn nên tránh Octave và tập trung vào Python hoặc R.

Một tài nguyên để giúp thiết lập dễ dàng hơn là StarCluster . Một lần nữa, không có kinh nghiệm với họ, nhưng đó có thể là một lộ trình hữu ích.

Thành thật mà nói, Ubuntu (hoặc Windows) và EC2 không khó học. Tôi thực sự không khuyên dùng Windows cho R, vì không có nhiều tình yêu giữa các nhà phát triển và Windows. (NB: Theo như tôi có thể nói là không có dịch vụ đám mây Mac OS X nghiêm trọng nào.) Khi bạn có máy tính để bàn từ xa, bạn sẽ kinh doanh. Học cách mở rộng quy mô là bước tiếp theo.


Cập nhật 1: Các dịch vụ quản lý đám mây khác, tổng quát hơn, bao gồm RighstScale và Scalr.

Cập nhật 2: Tôi muốn nhấn mạnh rằng việc học cách thiết lập các thể hiện và cụm của bạn trong đám mây là quan trọng. Trong số những lợi ích của công việc thực hành:

  • Tìm hiểu cách quản lý hỗn hợp tài nguyên (nhiều phiên bản, nhiều loại phiên bản, nhiều HD, các vùng hoặc vùng khả dụng khác nhau, các công cụ giám sát khác nhau và hơn thế nữa)
  • Tinker với GPU nếu bạn muốn (kiểm tra gputools)
  • Bạn có thể dễ dàng cập nhật hoặc quay lại lựa chọn các gói của bạn
  • Bạn có thể nhận được chi phí thấp hơn nhiều bằng cách sử dụng các thể hiện tại chỗ hoặc các thể hiện dành riêng.
  • Bạn có thể thử các GUI hoặc IDE R khác nhau, có thể không phải là một tùy chọn cho các nhà cung cấp đám mây.

Có những lợi ích khi sử dụng nhà cung cấp được quản lý, chẳng hạn như thời gian học ngắn hơn, có thể hỗ trợ tốt hơn để chia sẻ tài nguyên giữa các nhóm và có thể là một số gizmos tốt đẹp, nhưng tôi không thể nói về lợi ích khi tôi bắt đầu sử dụng EC2 trước bất kỳ điều nào trong số này đã đến thị trường.


5

Ngoài ra còn có PiCloud để chạy mã Python song song trên EC2.

Từ trang sản phẩm của họ :

PiCloud là một nền tảng điện toán đám mây tích hợp vào Ngôn ngữ lập trình Python. Nó cho phép bạn tận dụng sức mạnh tính toán của Dịch vụ web Amazon mà không phải quản lý, bảo trì hoặc định cấu hình máy chủ ảo.

PiCloud tích hợp hoàn toàn vào cơ sở mã hiện tại của bạn thông qua thư viện Python tùy chỉnh, đám mây. Để giảm tải việc thực thi một chức năng cho các máy chủ của chúng tôi, tất cả những gì bạn phải làm là chuyển chức năng mong muốn của mình vào thư viện đám mây. PiCloud sẽ chạy chức năng trên cụm hiệu suất cao của nó. Khi bạn chạy nhiều chức năng hơn, cụm tự động của chúng tôi sẽ tự động thay đổi để đáp ứng nhu cầu tính toán của bạn. Bắt đầu trên đám mây chưa bao giờ dễ dàng đến thế!


Tôi khá thích PiCloud - Tôi đã thấy chúng rất dễ dàng để khởi động và chạy.
Fomite

3

Bạn đã thử CloudStat trước đây chưa? Khác với các đám mây khác, CloudStat chỉ dành cho người dùng Ngôn ngữ R. Không có thêm thiết lập. bạn chỉ có thể đăng nhập và sử dụng tối đa 7,5 Gb RAM.

Tuy nhiên, với tài khoản miễn phí, phân tích của bạn sẽ được công chúng xem và sử dụng. Tùy chọn là trả $ 5 mỗi tháng để phân tích của bạn ở chế độ riêng tư.


Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.