Kiểm tra độ tinh khiết trên cấu hình máy chủ 40TB


21

Tôi đã có 40 năm tính toán, nhưng tôi chưa bao giờ phải xây dựng một máy chủ giống như máy chủ này, vì vậy đây có thể là một câu hỏi n00b.

Tôi có một khách hàng sẽ cung cấp các tệp nhạc độ phân giải cực cao để tải xuống. Trong trường hợp này có nghĩa là FLAC được nén 24 / 192Khz = ~ 10GB / album. (Không, tôi không muốn loại bỏ tính mong muốn của sản phẩm, chỉ là cấu hình máy chủ.) Danh mục sẽ có khoảng 3.000 album, với cả phiên bản độ phân giải cực cao và độ phân giải thấp (đối với iPod của họ, tôi đoán vậy) 35-40TB hoặc hơn dữ liệu chính.

Vì đây là một sản phẩm rất chuyên dụng, quy mô thị trường tương đối nhỏ (nghĩ: những người chi 20.000 đô la + cho hệ thống âm thanh của họ), điều đó có nghĩa là hầu hết thời gian máy chủ sẽ không hoạt động 100% (hoặc gần với nó). Tôi có những gì trông giống như một ưu đãi colocation tốt từ ColocationAmerica với kết nối và băng thông 1Gbps với giá khoảng 20 đô la / TB, vì vậy bây giờ tôi chỉ cần xây dựng một hộp để giao hàng.

Trường hợp sử dụng truy cập dữ liệu là ghi một lần / đọc-nhiều, vì vậy tôi nghĩ chỉ sử dụng phần mềm RAID 1 cho các cặp ổ đĩa. Điều này sẽ cho phép tôi (tôi nghĩ ) cấu hình lại các ổ đĩa dự phòng cho những ổ đĩa bị hỏng khi đang di chuyển, do đó có thể bắt đầu xây dựng lại ổ đĩa thứ hai trước khi một số sysadmin nhận thấy đèn đỏ trên hệ thống (chúng thực hiện trao đổi miễn phí). Sẽ thật tuyệt nếu tôi có thể khiến hầu hết các ổ đĩa ngủ / quay xuống nếu chúng không cần thiết, đó sẽ là phần lớn thời gian cho hầu hết các ổ đĩa.

Tôi không cần nhiều cách tính toán sức mạnh. Điều này chỉ là đẩy các vật thể béo xuống đường ống và vì vậy CPU / bo mạch chủ có thể khá khiêm tốn miễn là nó có thể hỗ trợ số lượng ổ đĩa này.

Tôi hiện đang xem xét cấu hình sau:

Chasis: Supermicro CSE-847E26-RJBOD1
Drives: 30 4TB SAS drives (Seagate ST4000NM0023 ?)
MB: SUPERMICRO MBD-X10SAE-O w/ 8GB
CPU: Xeon E3-1220V3 3.1GHz LGA 1150 80W Quad-Core Server

Vì vậy, tôi đang đi đúng hướng, hay đây là một cách hoàn toàn n00b / khủng long để tiếp cận vấn đề?

Cập nhật để làm rõ một vài điểm:

  1. Tôi không có kinh nghiệm với ZFS, vì sản phẩm Sun cuối cùng tôi sở hữu đã trở lại vào cuối những năm 80. Tôi sẽ làm một chút RTFMing để xem nếu cảm thấy đúng.
  2. Tôi thực sự không cần hệ thống tập tin để làm bất cứ điều gì ngoạn mục vì tên tệp sẽ là UUID đơn giản và các đối tượng sẽ được cân bằng trên các ổ đĩa (giống như một hệ thống bộ nhớ đệm lớn). Vì vậy, tôi thực sự đã nghĩ về 40 hệ thống tập tin riêng biệt này và điều đó làm cho RAID 1 nghe có vẻ đúng (nhưng tôi thừa nhận sự thiếu hiểu biết ở đây).
  3. Bởi vì kỳ vọng hiện tại của chúng tôi là chúng tôi sẽ không thể tải xuống hơn một vài chục tệp cùng một lúc và trong hầu hết các trường hợp sẽ có chính xác một người tải xuống bất kỳ tệp nào, tôi không biết liệu chúng tôi có cần hàng tấn bộ nhớ không cho bộ đệm. Có thể 8GB là một chút ánh sáng, nhưng tôi không nghĩ 128GB sẽ làm gì hơn là tiêu thụ năng lượng.
  4. Có 2 máy riêng biệt không được đề cập ở đây: cửa hàng web hiện tại của họ và Download Master gần như tách rời hoàn toàn xử lý tất cả xác thực, quản lý nhập sản phẩm mới, thực thi chính sách (sau tất cả, đây sân chơi của RIAA), tạo URL tạm thời (và có thể bàn giao tải xuống cho nhiều hơn một trong số những con thú này nếu lưu lượng truy cập vượt quá mong đợi của chúng tôi), theo dõi sử dụng và tạo báo cáo. Đó là phương tiện này máy gần như có thể được xây dựng sử dụng chuột nhảy trên Quaaludes.

ZFS? Lợi ích ở đâu?

OK, tôi đang lén lút tìm hiểu nhiều hướng dẫn về ZFS, Câu hỏi thường gặp, v.v ... Xin lỗi vì tôi nghe có vẻ ngu ngốc, nhưng tôi thực sự đang cố gắng hiểu lợi ích của việc sử dụng ZFS so với khái niệm chống đối của các cặp N RAID1. Trên trang Thực tiễn tốt nhất này (từ năm 2006), họ thậm chí còn đề nghị không thực hiện ZFS 48 thiết bị, mà là 24 gương 2 thiết bị - nghe giống như những gì tôi đang nói. Các trang khác đề cập đến số lượng thiết bị phải được truy cập để phân phối khối ZFS 1 (một). Ngoài ra, hãy nhớ, ở mức 10 GB cho mỗi đối tượng và với mức sử dụng đĩa 80%, tôi đang lưu trữ tổng cộng 320 tệp trên mỗi ổ 4TB . Thời gian xây dựng lại của tôi với N RAID 1, đối với bất kỳ lỗi ổ đĩa cụ thể nào, là ghi 4TB từ thiết bị này sang thiết bị khác.Làm thế nào để ZFS làm điều này tốt hơn?

Tôi sẽ thừa nhận mình là một con khủng long, nhưng đĩa thì rẻ, RAID 1 Tôi hiểu, nhu cầu quản lý tệp của tôi là không đáng kể và ZFS trên Linux (hệ điều hành ưa thích của tôi) vẫn còn non trẻ. Có thể tôi quá bảo thủ, nhưng khi tôi nhìn vào một hệ thống sản xuất, đó là cách tôi lăn lộn.

Tôi cảm ơn tất cả các bạn vì những bình luận của bạn đã khiến tôi suy nghĩ về điều này. Tôi vẫn chưa hoàn toàn quyết định và tôi có thể phải quay lại và hỏi thêm một số câu hỏi n00b.


6
Đối với lượng lưu trữ này, tôi thậm chí sẽ không cân nhắc sử dụng ít hơn 128 gb ram. Ngoài ra, mạnh mẽ xem xét sử dụng hệ thống tập tin zfs.
EEAA

3
Các cặp đĩa trong RAID1 nghe có vẻ ... khủng khiếp. Cá nhân, tôi sẽ chỉ ra một máy chủ lưu trữ / kệ lưu trữ, nhồi nhét đầy đủ các ổ đĩa SAS gần, đặt toàn bộ vào RAID 10 hoặc 6, thêm một hoặc hai phụ tùng nóng và gọi nó là một ngày.
HoplessN00b

3
@etherfish - RAM không cần thiết cho mục đích tính toán, nhưng nó chắc chắn cần thiết cho bộ đệm hệ thống tập tin. Hiệu suất chỉ với 8GB sẽ là khủng khiếp. Thậm chí nhiều hơn nếu sử dụng ZFS, đây thực sự là fs duy nhất tôi sẽ cân nhắc nghiêm túc ở kích thước này. ZFS cần rất nhiều RAM để hoạt động tốt. May mắn là RAM tương đối rẻ.
EEAA

1
Hiệu suất sẽ quá đủ để bão hòa 1Gbps. Hiệu năng sẽ chỉ bị suy giảm trong hệ thống tập tin phải đọc lại các khối từ đĩa đã hết hạn từ bộ đệm-bộ đệm và không có nhiều hoặc không mong đợi về vị trí tạm thời, điểm quay trở lại giảm dần cho RAM thêm cũng đạt được trước 128GB. Với hệ thống tệp dựa trên phạm vi và các tệp lớn, thậm chí siêu dữ liệu của hệ thống tệp sẽ chiếm một lượng RAM không đáng kể. Ông thậm chí còn hy vọng việc sử dụng sẽ đủ thưa thớt để các ổ đĩa có thể quay vòng. 73s.
etherfish

5
Chỉ cần một lưu ý về việc quay xuống các đĩa - ĐỪNG LÀM NÓ! (Nhấp vào tôi để tìm hiểu lý do tại sao) Spin-Up / Spin-Down rất nhiều hao mòn trên các bộ phận chuyển động của ổ cứng truyền thống, và sẽ gây ra lỗi sớm. Số tiền bạn tiết kiệm được khi mất điện sẽ bị mất thay thế cho các đĩa bị lỗi.
voretaq7

Câu trả lời:


12

Dựa trên mô tả vấn đề của bạn, vấn đề của bạn không phải là máy chủ lưu trữ.
Bạn muốn có một hệ thống tệp mạnh mẽ, đáng tin cậy như ZFS được thiết kế để xử lý tốt dung lượng lưu trữ lớn và có khả năng quản lý tích hợp để giúp phần cuối của hệ thống dễ quản lý hơn.

Như đã đề cập trong các bình luận, tôi sẽ sử dụng ZFS cho nhóm lưu trữ (có thể là trên FreeBSD vì tôi quen thuộc nhất với hệ điều hành đó và vì nó có một bản ghi theo dõi lâu dài về hiệu năng vững chắc với ZFS - Lựa chọn thứ hai của tôi Hệ điều hành sẽ là Illumos , một lần nữa vì hỗ trợ ZFS được thử nghiệm tốt).


Theo như tôi cung cấp các tệp tôi đồng ý - bạn không cần nhiều về phần cứng để chỉ đẩy dữ liệu ra khỏi cổng mạng. Trình điều khiển chính cho CPU / RAM của bạn sẽ là nhu cầu của hệ thống tập tin (ZFS).
Nguyên tắc chung là ZFS cần 1GB RAM, cộng thêm 1GB cho mỗi 10TB dung lượng ổ đĩa mà nó quản lý (vì vậy với 40TB bạn sẽ cần 5GB RAM cho ZFS) - mặc dù mối quan hệ không hoàn toàn tuyến tính (có rất nhiều những cuốn sách / hướng dẫn / tài liệu tốt trên ZFS có thể giúp bạn đưa ra ước tính cho môi trường của bạn).
Lưu ý rằng việc thêm vào chuông ZFS và còi như trùng lặp sẽ cần nhiều RAM hơn.

Rõ ràng làm tròn các yêu cầu RAM lên thay vì xuống và không keo kiệt: Nếu toán của bạn nói rằng bạn cần 5GB RAM thì đừng tải máy chủ với 8GB - bước lên tới 16GB.

Sau đó, bạn có thể chạy máy chủ của mình trực tiếp trên hộp lưu trữ (có nghĩa là bạn sẽ cần nhiều RAM hơn trên hộp đó để hỗ trợ các quy trình máy chủ) hoặc bạn có thể gắn bộ nhớ từ xa vào máy chủ "front-end" để thực sự phục vụ yêu cầu khách hàng.
(Cái trước rẻ hơn ban đầu, cái sau tốt hơn về lâu dài.)


Ngoài lời khuyên này, những gợi ý tốt nhất tôi có thể cung cấp cho bạn đã được đề cập đầy đủ trong loạt câu hỏi về Lập kế hoạch năng lực của chúng tôi - về cơ bản là "Kiểm tra tải , Kiểm tra tải , Kiểm tra tải ".


Methinks toán học của bạn được tắt. Theo công thức của bạn, anh ấy cần 41G.
EEAA

@EEAA Thật vậy, tôi đã giảm xuống 0 :-) Và lưu ý rằng đó là dung lượng RAM tối thiểu. ZFS sẽ rất vui khi sử dụng 41G và ngâm tất cả với bộ nhớ cache :-)
voretaq7

@ voretaq7: Cảm ơn bạn đã liên kết với kế hoạch năng lực; nó tiếp theo trong danh sách của tôi sau khi đọc về ZFS.
Peter Rowell

Nếu bạn đi với ZFS, hãy xem xét phần cứng từ ixsystems.com
sciurus

1
@PeterRowell Ưu điểm chính của ZFS là nó được thiết kế để xử lý các hệ thống tệp quy mô nhiều terabyte - Nó được rèn trong lò nung của Sun microsystems và được xây dựng như một hệ thống tệp thế kỷ 21 cho các kích thước dữ liệu của thế kỷ 21 (thuộc loại bạn đang nói đến) . Một câu hỏi về lợi ích / nhược điểm của ZFS so với <một số hệ thống tệp khác> sẽ là một chủ đề tốt cho một câu hỏi riêng biệt khác, nhưng tôi sẽ bỏ qua vấn đề này: Không có gì chờ đợi fscknếu bạn đang sử dụng ZFS và máy tai nạn Tôi fscklà hệ thống tập tin terabyte. Nó thật kinh khủng.
voretaq7

2

Tôi sử dụng ZFS cho một máy chủ đa TB và nó đã hoạt động ổn định. Tôi đã sử dụng OpenIndiana để bắt đầu và hiện đã chuyển sang FreeNAS vì đây là công việc tôi cần.

Tôi khuyên bạn nên sử dụng thẻ LSI HBA (9211-8i là thẻ cơ sở tốt) với bộ mở rộng SAS (trường hợp SuperMicro có thể được đặt hàng với bộ mở rộng SAS tích hợp dựa trên chipset LSI). Phần sụn LSI được hỗ trợ trong FreeNAS và FreeBSD. Kiểm tra các phiên bản phù hợp (V16 có tốt trên FreeBSD V9.x).

Với việc ghi một lần đọc nhiều tính chất của hệ thống của bạn, tôi sẽ sử dụng cấu trúc liên kết ZFS Z2 (tránh RAID-5 và Z1 với các ổ đĩa có kích thước này). Cho rằng bạn đang sử dụng đĩa 4TB, thời gian xây dựng lại (bộ phục hồi) cho một mảng vDev lớn sẽ là một thời gian dài nếu hồ bơi đầy. Để tránh thời gian xây dựng lại lâu, hãy sắp xếp các vDev theo nhóm 6 hoặc 10 để tạo nhóm (đề xuất từ ​​tài liệu FreeNAS). Một nhóm gồm ba vDevs 6 ổ đĩa (giả định là ổ 4TB) sẽ có dung lượng có thể sử dụng là ~ 48TB và cung cấp mức độ chịu lỗi tốt (hãy nhớ rằng bạn vẫn cần sao lưu vì RAID không thay thế được các bản sao lưu :)).

Để tăng tốc mọi thứ cho các tệp thường được truy cập, bạn có thể sử dụng một vài ổ SSD cho L2ARC (có thể không cần cho ứng dụng của bạn nhưng chúng khá rẻ cho SSD 120 GB).

Và như đã nêu, sử dụng nhiều RAM. 64GB không quá đắt với các phần cứng khác trong hệ thống. Thật không may, XEON nhỏ hơn không thể sử dụng hơn 32GB. Bạn có thể dùng thử nhưng nhiều RAM hơn sẽ tốt hơn theo tài liệu của ZFS (Tôi sử dụng XEON mà bạn đề cập với ram 32 GB và mảng Z2 dung lượng 24TB và nó hoạt động tốt).

Một ưu điểm khác của ZFS là bạn có thể thiết lập các ảnh chụp nhanh định kỳ. Bằng cách này, bạn có thể khôi phục các phiên bản trước một cách dễ dàng và các ảnh chụp nhanh rất hiệu quả về không gian. Hơn nữa, bạn có thể sao chép bất kỳ ảnh chụp nhanh nào sang tập dữ liệu khác (cục bộ hoặc từ xa) và điều này có thể được thực hiện qua SSH để bảo mật.

Tôi thực sự thích độ tin cậy của hệ thống ZFS. Tôi cũng thích thực tế rằng nó là ĐỘC LẬP phần cứng !! Bất kỳ hệ thống nào có thể nhìn thấy các ổ đĩa đều có thể nhập nhóm. Không phụ thuộc phần sụn, v.v. có thể xảy ra với cuộc đột kích phần cứng (không phải là vấn đề với thẻ tốt hơn nhưng chúng đắt hơn thẻ HBA và cần trình điều khiển, v.v.

Cho bài này là cũ hơn, bạn có thể có một giải pháp. Nếu vậy, tâm trí cho chúng tôi biết những gì bạn xây dựng?

Chúc mừng

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.