Khi nào việc xây dựng một cụm trong đám mây rẻ hơn so với việc xây dựng một cụm trong phòng thí nghiệm của tôi để mô phỏng MD?

23

Amazon EC2 chi phí cụm máy tính khoảng $ 800 $ 1000 (tùy thuộc vào nhiệm vụ chu kỳ) cho mỗi lõi CPU vật lý trong quá trình cả 3 năm. Trong đợt mua lại phần cứng cuối cùng của chúng tôi, phòng thí nghiệm của tôi đã chọn được 48 lõi phần cứng có giá trị rất giống với các cụm của Amazon với giá khoảng ~ 300 đô la một lõi.

Am i thiếu cái gì ở đây? Có bất kỳ tình huống nào có ý nghĩa kinh tế để xây dựng một cụm trong đám mây cho các tác vụ CPU cao như mô phỏng động lực phân tử không? Hay tôi luôn luôn tốt hơn khi chỉ xây dựng và tự mình ngồi máy dang?

(Tôi nên đề cập rằng phòng thí nghiệm của tôi không trả tiền điện trong phòng máy chủ của chúng tôi (ít nhất là không trực tiếp), nhưng ngay cả với lợi ích này, Amazon vẫn có vẻ cực kỳ đắt đỏ).

cloud-computing hpc

— điện thoại
nguồn

2

Một điều tôi có thể nói với bạn là bạn đang thiếu một số chi phí lao động cho quản trị và bảo trì cụm. Trong môi trường học thuật, ai đó phải là quản trị viên cụm và thực hiện tất cả các công việc nặng nề, như cập nhật và nâng cấp hệ điều hành, cài đặt phần mềm mới, hỗ trợ kỹ thuật khi cụm ngừng hoạt động, v.v. Các nhiệm vụ này là vô ơn, và tùy thuộc vào kỹ năng quản trị viên, có thể đòi hỏi nhiều thời gian. Một cụm EC2 sẽ cắt giảm thời gian cần thiết để bảo trì cụm.

— Geoff Oxberry

1

Chà, rõ ràng là bạn đã có phần cứng giá rẻ. Tôi đã tính chi phí trong 3 năm cho cụm 192 lõi tại nơi làm việc trước đây của tôi và hóa ra là hơn 850 đô la mỗi lõi mỗi năm. Chưa kể tất cả các vấn đề chúng tôi gặp phải với hệ thống điện và làm mát ...

— Hristo Iliev

@GeoffOxberry Bạn nói rõ về chi phí lao động. Trong phòng thí nghiệm của tôi, tôi là quản trị viên, vì vậy tôi không nghĩ về những điều như vậy. Đôi khi thật bực bội, đó là một lao động của tình yêu. Nếu tôi có tiền và một nơi nào đó để đặt nó, tôi sẽ làm theo các hướng dẫn (thưa thớt) trên blog này và cố gắng xây dựng Watson của riêng tôi.

— điện thoại

@HristoIliev Tôi thậm chí không nghĩ rằng nó rẻ như vậy. Nếu bạn sẵn sàng nhận cụm "được sử dụng nhẹ" từ Dell, bạn có thể đẩy chi phí xuống ~ 200 đô la một lõi. Bạn có thể cho tôi biết thêm về phần cứng tại nơi làm việc trước đây của bạn?

— điện thoại

1

Đó là một hệ thống được xây dựng tùy chỉnh với 12 khung gầm Xeon hai ổ cắm đôi (24 nút, 48 E5420) với RAM 16 GiB ECC trên mỗi nút, một máy Nehalem một ổ cắm với 2 Tesla M2090, một công tắc InfiniBand 24 cổng, một công tắc tập tin máy chủ với 4 đĩa, hai UPS 10 kVA, hai điều hòa. Chúng tôi đã thu được nó trong nhiều giai đoạn trong suốt ba năm dự án. Không phải là lớn nhất trong số lớn nhất nhưng vẫn còn ~ 100k EUR (giá học tập tốt nhất ở Bulgaria).

— Hristo Iliev

15

Theo tôi, ưu điểm chính của việc sử dụng tài nguyên dựa trên Đám mây là tính linh hoạt, tức là nếu bạn có khối lượng công việc dao động, bạn chỉ trả cho những gì bạn cần.

Nếu đây không phải là trường hợp trong ứng dụng của bạn, tức là bạn biết bạn sẽ có khối lượng công việc liên tục và có thể định lượng, thì có lẽ bạn nên xây dựng cụm của riêng mình. Trong Đám mây, bạn trả tiền cho tính linh hoạt và nếu bạn không cần sự linh hoạt, bạn sẽ trả tiền cho những thứ bạn không cần.

Nếu khối lượng công việc của bạn linh hoạt nhưng hơi mãnh liệt và dựa vào một số tính năng phần cứng nhất định (xem câu trả lời của aeismail), bạn có thể muốn thử chia sẻ một cụm với những người khác trong trường đại học của mình để khấu hao các chu kỳ nhàn rỗi. Trường đại học cũ của tôi điều hành một cụm chia sẻ như vậy với "Mô hình cổ đông", trong đó mọi nhóm được đảm bảo một phần sức mạnh tính toán tỷ lệ thuận với khoản đầu tư của họ vào các chu kỳ phần cứng và nhàn rỗi có thể được sử dụng bởi bất kỳ ai. Khó khăn duy nhất là tập trung quản trị cụm.

— Pedro
nguồn

3

Tại chỗ, chìa khóa là "định lượng và không đổi". Thông thường khối lượng công việc thay đổi đáng kể và hoàn toàn có thể khiến cho chi phí thấp hơn 300 đô la / lõi. Ngoài ra, trong việc thiết lập điện toán đám mây, có thể dễ dàng mở rộng quy mô lên nhiều trường hợp hơn nếu cần tạm thời (tuần trước một hội nghị?).

— Phil H

1

+1 cho điều này. Việc tôi sử dụng các cụm đi từ 0 đến một trường hợp "Bạn đã làm gì!?". Tôi không đủ khả năng để trả tiền cho người thứ hai ở bên bất cứ khi nào tôi cần.

— Fomite

7

Có một số điều cần lo lắng khi thực hiện điện toán đám mây với mô phỏng MD. Chẳng hạn, bạn cần lo lắng về cách bố trí vật lý của các bộ xử lý trong cụm máy chủ nơi các công việc này sẽ chạy. Lý do là, tùy thuộc vào kích thước mô phỏng của bạn và loại tính toán bạn đang chạy (ví dụ: hệ thống có tĩnh điện), bạn có thể phụ thuộc rất nhiều vào FFT của FFT và đẩy các electron xung quanh các bộ xử lý khác nhau trong một cụm khổng lồ có thể trở thành một phần rất tốn thời gian trong tổng thời gian tính toán.

Ngoài ra, đối với những thứ sử dụng nhiều dữ liệu như MD, bạn sẽ muốn đảm bảo rằng bạn có các kết nối tải lên và tải xuống nhanh chóng đến các máy chủ, cũng như các giới hạn hợp lý về lưu trữ dữ liệu. Mặt khác, rất nhiều khoản tiết kiệm chi phí có thể bị mất đi trong năng suất và phí lưu trữ bị mất.

Đối với những gì nó có giá trị, viện của chúng tôi chỉ mua khoảng ~ 240 lõi cho cụm địa phương của chúng tôi với chi phí dưới 500 € mỗi lõi. Chi phí đó bao gồm lưu trữ và quản trị, cộng với dịch vụ, trong khuôn viên của chúng tôi trong bốn năm. Trên cơ sở hàng năm có vẻ rẻ tiền vô lý. Tôi nghĩ đó có lẽ là điều tốt nhất trong cả hai thế giới, truy cập địa phương, nhưng được duy trì một cách chuyên nghiệp mà không cần đội ngũ CNTT của chúng tôi.

— vô thần
nguồn

5

Tôi chưa có kinh nghiệm trực tiếp với các dịch vụ đám mây như EC2 của Amazon, nhưng chi phí thực tế cho mỗi lõi có thể lớn hơn nhiều so với bạn trích dẫn: đó là chi phí mua ban đầu, điện, làm mát, không gian trong tòa nhà, phần cứng thay thế. Cộng với chi phí quản trị: thiết lập hệ điều hành và dịch vụ cụm, giữ cho hệ điều hành luôn cập nhật, khắc phục sự cố hàng đợi, v.v. Tôi sẽ không ngạc nhiên nếu tổng của tất cả những điều này là gấp đôi chi phí mua ban đầu. Tất nhiên bạn có được sự linh hoạt.

Đối với tôi, mô hình đi xuống quy mô: Nếu bạn có một cụm thực sự lớn (1000 lõi trở lên) thì bạn có thể khấu hao thời gian làm việc, sửa chữa, quản trị hệ thống vì có đủ việc phải làm để bận rộn chuyên nghiệp. Nếu bạn có một cụm nhỏ mà không đáng để một người tận tâm làm việc đó, thì có khả năng là bạn sẽ khiến ai đó làm công việc đầu tiên của mình là làm khoa học, và trong trường hợp đó, thời gian của người này được dành cho những công việc quản trị như vậy. Đây là nơi các dịch vụ theo yêu cầu như máy chủ đám mây tỏa sáng.

— Wolfgang Bangerth
nguồn

Tại phòng thí nghiệm của tôi, điện, làm mát và không gian cho cụm của chúng tôi được thanh toán hết cho việc cắt giảm, trường đại học của chúng tôi lấy ra các khoản trợ cấp cho phí cơ sở vật chất. Việc cắt này là như nhau cho dù chúng ta có chạy một cụm hay không. Bạn có biết nếu có một tình huống tương tự tại hầu hết các trường đại học, hoặc hầu hết các phòng thí nghiệm bị mắc kẹt trong việc trả tiền để làm mát, vv trực tiếp ra khỏi túi?

— điện thoại

1

Tôi tin rằng hầu hết các phòng thí nghiệm có sự sắp xếp giống như của bạn, nhưng dù sao đi nữa cũng sẽ sai nếu bỏ qua các chi phí này. Ai đó sẽ phải gánh vác họ, ngay cả khi đó không phải là cá nhân bạn. Có thể đáng để yêu cầu bộ phận / trường đại học nhận một phần lớn hơn của chi phí gián tiếp trả lại cho bạn nếu bạn đồng ý xây dựng cụm của bạn hầu như trên đám mây thay vì thực tế trong khuôn viên trường.

— Wolfgang Bangerth

4

Là một bổ sung cho một số câu trả lời đã xuất sắc, có một yếu tố khác cần xem xét:

Bất kể các chi phí, làm thế nào bạn sẽ trả tiền cho nó?

Tôi đã gặp phải một số lượng tài trợ không hề nhỏ trong mọi trường hợp sẽ không trả cho các chi phí phần cứng, nhưng sẽ trả cho thời gian tính toán trên một cái gì đó như EC2. Vì vậy, trong một số trường hợp tài trợ, trong khi bạn có thể tài trợ cho một cụm "thử nghiệm" nhỏ với số tiền không có cấu trúc hoặc gói khởi động phòng thí nghiệm, đối với các dự án quy mô lớn hơn, đó có thể là cách duy nhất để tài trợ cho chi phí máy tính của bạn.

Hãy xem xét NIH:

ADP / Dịch vụ máy tính: Các dịch vụ bạn bao gồm ở đây nên nghiên cứu các dịch vụ máy tính cụ thể - chẳng hạn như dành thời gian tính toán trên siêu máy tính hoặc nhận phần mềm chuyên dụng để giúp chạy số liệu thống kê của bạn. Phần này không bao gồm máy tính văn phòng máy tính để bàn, máy tính xách tay hoặc hỗ trợ kỹ thuật tiêu chuẩn do tổ chức của bạn cung cấp. Những loại phí này sẽ được tính từ chi phí F & A.

Mặc dù có thể đặt máy cụm xuống dưới tiêu đề thiết bị $ 5.000 + và bạn có thể tranh luận tốt về nó, tôi đã tìm thấy cả những người đánh giá đang lo lắng về nó và các trường đại học đang do dự về chi phí liên tục để duy trì như vậy hệ thống.

Một số khoản tài trợ thậm chí còn nghiêm ngặt hơn. Một khoản trợ cấp tôi hiện đang đọc như sau:

Tiền cũng có thể không được sử dụng cho phần cứng máy tính

Đơn giản thường dễ dàng hơn để có được một cụm thanh toán bằng chi phí trực tiếp nếu dựa trên EC2 hoặc một trong nhiều điểm tương tự của nó so với việc mua phần cứng, đặc biệt là nếu tổ chức của bạn keo kiệt với chi phí gián tiếp. Đây có thể không phải là trường hợp của bạn, nhưng nó là trường hợp đối với một số người.

— Phụ nữ
nguồn

Tôi nghĩ đó không phải là một cuộc tranh luận tốt. Tôi chỉ quen thuộc với hệ thống tài trợ ở Mỹ nhưng ở đó nếu bạn đặt một số tiền nhất định vào danh mục "Thiết bị", bạn có thể sử dụng nó để mua một cụm. Tất nhiên, nếu danh mục đó trống, thì bạn đã yêu cầu đặt đô la sai. Thiết bị thực sự có một lợi thế tốt ở chỗ nếu đó là một thiết bị duy nhất có giá mua trên $ 5k, bạn hoàn toàn không phải trả chi phí cho nó (ít nhất là tại trường đại học của chúng tôi).

— Wolfgang Bangerth

@WolfgangBangerth Xem chỉnh sửa của tôi để biết chi tiết - đặt nó trong danh mục "Thiết bị" có thể không được phép.

— Fomite

Có, nếu đây là những điều kiện thì bạn không thể làm gì. Nhưng tôi đã thấy rằng nếu bạn có một trường hợp tốt tại sao bạn yêu cầu tiền thiết bị trong một khoản trợ cấp thì người đánh giá thường đi theo nó - dù sao đó thường không phải là một phần lớn trong tổng số tiền. Tất nhiên, nếu số tiền chưa được dự toán bắt đầu, thực tế bạn không thể làm gì sau đó.

— Wolfgang Bangerth

0

Có rất nhiều câu trả lời của thần rồi. Tôi chỉ muốn thêm hai điểm nhỏ.

1.) Tôi biết rằng IBM đang cung cấp một cái gì đó tương tự. Vì vậy, tùy thuộc vào ứng dụng của bạn, có thể đáng để so sánh các ưu đãi khác nhau. Không chỉ liên quan đến chi phí mà còn cả thiết bị.

2.) Tất nhiên hầu hết các phòng thí nghiệm quá nhỏ để có thể đầu tư vào cụm của riêng họ. Do đó, câu hỏi là liệu không thể tập hợp nhiều phòng thí nghiệm lại với nhau và đầu tư vào một cụm được chia sẻ giữa các phòng thí nghiệm khác nhau. Điều này bên cạnh hiệu quả chia sẻ chi phí rõ ràng cũng là lợi thế của phân phối tải đồng đều hơn.

— Azrael3000
nguồn