Yêu cầu tốc độ ghi: 1.1GB / s khả năng?

Chúng tôi sẽ có một máy hoạt động, với hiệu suất cao nhất, có thể đẩy 50 ("đầu ghi") x 75GB dữ liệu mỗi giờ. Đó là hiệu suất cao nhất của tốc độ ghi ~ 1100MB / s. Để có được điều đó từ máy, nó cần hai dòng 10GBi. Câu hỏi của tôi là loại máy chủ + công nghệ nào có thể xử lý / lưu trữ luồng dữ liệu đó?

Hiện tại để lưu trữ dữ liệu, chúng tôi làm việc với ZFS, mặc dù tốc độ ghi không bao giờ là một câu hỏi. (chúng tôi thậm chí không gần với các tốc độ này) ZFS (zfs trên linux) có phải là một tùy chọn không? Chúng tôi cũng cần lưu trữ nhiều dữ liệu, "hướng dẫn CNTT" gợi ý ở đâu đó trong khoảng từ 50-75 TB. Vì vậy, nó có thể không phải là tất cả các ổ SSD trừ khi chúng tôi muốn cung cấp đứa con đầu lòng của chúng tôi.

Một số bổ sung dựa trên các câu trả lời xuất sắc:

• tối đa là 50x75GB / giờ trong thời gian cao điểm ít hơn 24h (rất có thể <6h)
• Chúng tôi không hy vọng điều này sẽ xảy ra sớm, nhiều khả năng chúng tôi sẽ chạy 5-10x75GB / giờ
• đó là một máy pre-alpha, tuy nhiên cần phải đáp ứng các yêu cầu (mặc dù có rất nhiều dấu hỏi đang diễn ra)
• chúng tôi sẽ sử dụng NFS làm kết nối từ máy đến máy chủ
• layout: tạo máy -> lưu trữ (cái này) -> (raid an toàn 6) -> tính toán cụm
• vì vậy tốc độ đọc là không cần thiết , nhưng sẽ rất tuyệt nếu sử dụng nó từ cụm tính toán (nhưng điều này là hoàn toàn tùy chọn)
• rất có thể đó sẽ là các tệp dữ liệu lớn (không nhiều nhỏ)

Hoàn toàn ... ZFS trên Linux là một khả năng nếu được kiến ​​trúc chính xác. Có nhiều trường hợp thiết kế ZFS kém , nhưng được thực hiện tốt, các yêu cầu của bạn có thể được đáp ứng.

Vì vậy, yếu tố quyết định chính sẽ là cách bạn kết nối với hệ thống lưu trữ dữ liệu này. Có phải là NFS không? CIFS? Làm thế nào là khách hàng kết nối với lưu trữ? Hoặc là xử lý, vv được thực hiện trên hệ thống lưu trữ?

Điền thêm một số chi tiết và chúng tôi có thể xem nếu chúng tôi có thể giúp đỡ.

Chẳng hạn, nếu đây là NFS và với các mount đồng bộ, thì chắc chắn có thể mở rộng ZFS trên Linux để đáp ứng nhu cầu về hiệu năng ghi và vẫn duy trì yêu cầu dung lượng lưu trữ dài hạn. Là dữ liệu có thể nén? Làm thế nào là mỗi khách hàng được kết nối? Mạng Ethernet tốc độ cao?

Chỉnh sửa:

Được rồi, tôi sẽ cắn:

Đây là một thông số khoảng $ 17k- $ 23k và phù hợp với không gian rack 2U.

HP ProLiant DL380 Gen9 2U Rackmount
2 x Intel E5-2620v3 or v4 CPUs (or better)
128GB RAM
2 x 900GB Enterprise SAS OS drives 
12 x 8TB Nearline SAS drives
1 or 2 x Intel P3608 1.6TB NVMe drives

Thiết lập này sẽ cung cấp cho bạn không gian có thể sử dụng 80TB bằng cách sử dụng RAID6 hoặc ZFS RAIDZ2 phần cứng.

Vì trọng tâm là hiệu suất dựa trên NFS (giả sử ghi đồng bộ), chúng tôi có thể hấp thụ tất cả những thứ đó một cách dễ dàng với các ổ NVMe P3608 (SLOG sọc). Chúng có thể chứa 3GB / giây khi ghi tuần tự và có xếp hạng độ bền đủ cao để liên tục xử lý khối lượng công việc bạn đã mô tả. Các ổ đĩa có thể dễ dàng được cung cấp quá mức để thêm một số biện pháp bảo vệ trong trường hợp sử dụng SLOG.

Với khối lượng công việc NFS, ghi sẽ được kết hợp và chuyển sang đĩa quay. Trong Linux, chúng tôi sẽ điều chỉnh điều này để xả sau mỗi 15-30 giây. Các đĩa quay có thể xử lý việc này và có thể có lợi hơn nữa nếu dữ liệu này có thể nén được.

Máy chủ có thể được mở rộng với 4 khe cắm PCIe mở hơn và một cổng bổ sung cho các bộ điều hợp FLR 10GbE cổng kép. Vì vậy, bạn có mạng lưới linh hoạt.

Đối với tốc độ ghi cực cao như vậy, tôi đề nghị chống lại ZFS, BTRFS hoặc bất kỳ hệ thống tập tin CoW nào. Tôi sẽ sử dụng XFS, cực kỳ hiệu quả trong truyền tải lớn / truyền phát.

Có rất nhiều thông tin bị thiếu (làm thế nào để bạn có kế hoạch truy cập những dữ liệu này? Tốc độ đọc có quan trọng không? Bạn sẽ viết thành nhiều phần lớn, v.v.) để cung cấp cho bạn những lời khuyên cụ thể, tuy nhiên một số lời khuyên chung là:

• sử dụng XFS trên đầu phân vùng thô hoặc khối lượng LVM béo (không sử dụng khối lượng mỏng)
• điều chỉnh kích thước ioblock để đối phó hiệu quả với việc ghi dữ liệu lớn
• sử dụng thẻ RAID phần cứng với bộ đệm ghi được bảo vệ bằng powerloss; nếu không sử dụng RAID phần cứng, hãy sử dụng sơ đồ RAID10 phần mềm (tránh mọi chế độ RAID dựa trên tính chẵn lẻ)
• sử dụng hai giao diện mạng 10Gb / s với LACP (tập hợp liên kết)
• hãy chắc chắn kích hoạt khung Jumbo
• vì bạn sẽ sử dụng NFS, hãy cân nhắc sử dụng pNFS (v4.1) để tăng khả năng mở rộng
• chắc chắn nhiều thứ khác ...

Ethernet 25Gbps đã là đường biên chính thống trong khi NVMe cơ sở PCIe sẽ kiểm soát lưu lượng đó một cách dễ dàng.

Để tham khảo, gần đây tôi đã xây dựng một giải pháp 'ghi nhật ký' nhỏ bằng bốn máy chủ xe hai bánh thông thường (HPE DL380 Gen9 trong trường hợp này), mỗi ổ có 6 x NVMe, tôi đã sử dụng IP qua Infiniband nhưng các NIC 25 / 40Gbps đó sẽ giống nhau và chúng tôi đang chiếm tới 8GBps trên mỗi máy chủ - hoạt động một điều trị.

Về cơ bản nó không rẻ nhưng ngày nay rất dễ làm.

Nghe có vẻ không phải là một vấn đề lớn. Nhà cung cấp phần cứng địa phương của chúng tôi có sản phẩm này như một sản phẩm tiêu chuẩn - rõ ràng nó có thể đẩy 1400 MB / giây được duy trì ở chế độ ghi hình camera quan sát, khó hơn so với yêu cầu cao nhất của bạn.

(Liên kết là cấu hình 12GB mặc định, nhưng họ lưu ý 20x4TB cũng là một tùy chọn. Không có kinh nghiệm cá nhân với máy chủ mô hình cụ thể này.)

Ghi tuần tự ở tốc độ 1100MB / s không phải là vấn đề với phần cứng hiện đại. Thông thường, thiết lập tại nhà của tôi với các ổ đĩa máy tính xách tay 8x5900 RPM, ổ đĩa 2x15000 RPM và ổ đĩa 2x7200 RPM duy trì 300 MB / s với tải trọng một lần 16 GB.

Mạng là 10GbE với cáp quang, 9000 MTU trên ethernet và lớp ứng dụng là Samba 3.0. Bộ lưu trữ được cấu hình trong raid50 với ba sọc trên ba ổ raid5 4 ổ. Bộ điều khiển là LSI MegaRAID SAS 9271-8i với tốc độ lên tới 6Gb / s trên mỗi cổng (Tôi có một hệ số nhân cổng bổ sung, chậm hơn).

Nói chuyện với bất kỳ sysadmin dày dạn nào và họ sẽ có thể cho bạn biết chính xác (các) bộ điều khiển và ổ đĩa nào sẽ đáp ứng yêu cầu của bạn.

Tôi nghĩ bạn có thể thử với bất kỳ bộ điều khiển 12Gb / s nào và định cấu hình hai sọc được nhân đôi của tám ổ 7200 RPM mỗi ổ (hầu như bất kỳ ổ nào cũng nên làm). Bắt đầu 3-4 kết nối TCP để bão hòa liên kết và nếu một cặp thẻ 10GbE không thể xử lý được, hãy sử dụng bốn thẻ.

Một cái gì đó tiếp tuyến, nhưng hãy xem xét sử dụng InfiniBand thay vì các liên kết 10GbE kép. Bạn có thể nhận được thẻ Infiniband 56Gbps khá rẻ, hoặc thẻ 100Gbps không quá nhiều và trên Linux, việc sử dụng NFS với RDMA qua IB rất dễ dàng, điều này sẽ cho bạn độ trễ cực thấp và tốc độ đường truyền lý thuyết (nếu lưu trữ bên dưới của bạn có thể xử lý nó). Bạn không cần một công tắc, chỉ cần hai thẻ InfiniBand và cáp gắn trực tiếp (hoặc cáp quang InfiniBand nếu bạn cần khoảng cách xa hơn).

Thẻ Mellanox 56Gbps một cổng (8x PCIe 3.0) như MCB191A-FCAT có giá dưới 700 đô la và cáp gắn trực tiếp bằng đồng dài 2 mét có giá 80 đô la.

Hiệu suất thường sẽ thổi 10GbE ra khỏi nước trong mọi trường hợp sử dụng. Không có nhược điểm nào, trừ khi bạn cần truy cập vào máy chủ từ nhiều khách hàng khác nhau, tất cả đều không thể sử dụng InfiniBand (và thậm chí sau đó, các công tắc của Mellanox có thể chuyển 10GbE và 40GbE sang IB, nhưng đó là một khoản đầu tư nhiều hơn, tất nhiên).

Tuy nhiên, làm điều này với ZFS là có thể, hãy xem xét sử dụng FreeBSD vì FreeBSD có ngăn xếp mạng nhanh hơn. Điều này sẽ cho phép có thể 100 GBit trên một máy.

1100 MBps nghe có vẻ rất nhiều, nhưng thực tế bạn có thể đạt được điều này bằng cách chỉ sử dụng các ổ cứng thông thường. Bạn nói rằng bạn cần 75 TB không gian, vì vậy bạn có thể sử dụng 24 ổ cứng 8 TB trong gương. Điều này sẽ cung cấp cho bạn tốc độ ghi 12x của một ổ đĩa và tốc độ đọc ổ đĩa 24x. Vì các ổ đĩa này có tốc độ ghi lớn hơn 100 MBps, điều này sẽ dễ dàng có thể xử lý băng thông. Đảm bảo thêm để không nhận ổ SMR, vì các ổ này có tốc độ ghi cực kỳ chậm.

ZFS không tạo tổng kiểm tra cho mọi khối. Điều này được thực hiện đơn luồng. Như vậy, bạn nên có một CPU có tốc độ xung nhịp khá nhanh để không bị chặn.

Tuy nhiên, chi tiết thực hiện chính xác phụ thuộc rất nhiều vào chi tiết.

Chúng tôi đã gắn một dữ liệu đổ 10G NIC vào cụm Gluster trên máy khách cầu chì của họ. Phải mất một chút điều chỉnh, bạn sẽ không tin hiệu suất mà nó có thể đạt được kể từ 3.0.