150 TB và đang phát triển, nhưng làm thế nào để phát triển?

Nhóm của tôi hiện có hai máy chủ lưu trữ lớn, cả NAS chạy debian linux. Đầu tiên là máy chủ 24 đĩa (SATA) tất cả trong một đã có tuổi đời vài năm. Chúng tôi có hai RAIDS phần cứng được thiết lập trên đó với LVM trên những cái đó. Máy chủ thứ hai là 64 đĩa được chia thành 4 thùng, mỗi thùng RAID 6 phần cứng, được kết nối thông qua SAS bên ngoài. Chúng tôi sử dụng XFS với LVM để tạo dung lượng lưu trữ có thể sử dụng 100TB. Tất cả điều này hoạt động khá tốt, nhưng chúng tôi đang vượt xa các hệ thống này. Đã xây dựng hai máy chủ như vậy và vẫn đang phát triển, chúng tôi muốn xây dựng một cái gì đó cho phép chúng tôi linh hoạt hơn về sự phát triển trong tương lai, các tùy chọn sao lưu, hoạt động tốt hơn khi bị hỏng đĩa (kiểm tra hệ thống tệp lớn hơn có thể mất một ngày hoặc hơn) trong một môi trường đồng thời nặng nề (nghĩ cụm máy tính nhỏ). Chúng tôi không có hỗ trợ quản trị hệ thống,

Vì vậy, những gì chúng tôi tìm kiếm là một giải pháp lưu trữ hiệu suất tương đối thấp, có thể chấp nhận được, cho phép tăng trưởng trong tương lai và cấu hình linh hoạt (nghĩ rằng ZFS với các nhóm khác nhau có các đặc điểm vận hành khác nhau). Chúng tôi có lẽ ở ngoài vương quốc của một NAS. Chúng tôi đã suy nghĩ về sự kết hợp của ZFS (ví dụ như trên openindiana) hoặc btrfs trên mỗi máy chủ với glusterfs chạy trên đó nếu chúng tôi tự làm điều đó. Những gì chúng tôi đang cân nhắc chỉ đơn giản là cắn viên đạn và đầu tư vào các giải pháp lưu trữ Isilon hoặc 3Par.

Bất kỳ đề xuất hoặc kinh nghiệm được đánh giá cao.

Tôi hy vọng điều này sẽ giúp một chút. Tôi đã cố gắng không để nó biến thành một bức tường văn bản đầy đủ. :)

3Par / Isilon

Nếu bạn có thể và sẽ dành một lượng thời gian cố định cho một người đảm nhận vai trò quản trị viên SAN và muốn tận hưởng một cuộc sống không đau đớn với giấc ngủ đêm thay vì làm việc ban đêm thì đây là cách tôi sẽ đi.

SAN cho phép bạn thực hiện tất cả mọi thứ trong đó một "bộ lưu trữ" sẽ giới hạn bạn (nghĩa là kết nối một mảng flash tinh khiết và một quái vật sata 3par lớn với cùng một máy chủ), nhưng bạn cũng phải trả tiền cho nó và duy trì tốt tất cả thời gian nếu bạn muốn sử dụng sự linh hoạt.

Lựa chọn thay thế

Amplidata

Ưu điểm: Chia tỷ lệ, giá rẻ, được thiết kế với một khái niệm đẹp và các lớp bộ đệm đọc / ghi chuyên dụng. Đây thực sự có thể là điều tốt nhất cho bạn.

RisingTideOS

Phần mềm mục tiêu của họ hiện được sử dụng trong hầu hết tất cả các kho lưu trữ linux và nó cho phép quản lý tốt hơn một chút so với các công cụ linux / gluster đơn giản có thể. (Imho) Phiên bản thương mại có thể đáng xem.

Gluster / btrfs

PRO: Scales out và "Bricks" cung cấp cho bạn một lớp trừu tượng rất tốt cho việc quản lý.

CON: Đầu tiên là tổng số PITA cho tôi. Nó không mạnh mẽ, và thất bại có thể là cục bộ đối với một viên gạch hoặc lấy đi mọi thứ. Bây giờ, với RedHat trong tầm kiểm soát, nó thực sự có thể biến thành thứ gì đó hoạt động và tôi thậm chí đã gặp những người có thể thuần hóa nó để nó hoạt động trong nhiều năm. Và thứ hai vẫn là một nửa thử nghiệm. Thông thường, một FS cần 3-4 năm sau khi "hoàn thành" cho đến khi nó được chứng minh và mạnh mẽ. Nếu bạn quan tâm đến dữ liệu, tại sao bạn lại cân nhắc điều này? Nói về thử nghiệm, hỗ trợ thương mại Ceph gần như đã hết, nhưng bạn cần phải bám vào lớp "RBD", FS vẫn chưa được kiểm tra đầy đủ. Tôi muốn làm rõ rằng mặc dù Ceph hấp dẫn hơn nhiều về lâu dài. :)

ZFS

Pro: Các tính năng chắc chắn đặt một cái đinh vào quan tài của những thứ khác. Các tính năng này được thiết kế tốt (nghĩ L2ARC) và nén / khấu trừ rất thú vị. Có nhiều "cụm lưu trữ" nghĩa là cũng chỉ có những thất bại nhỏ thay vì một sự bùng nổ hợp nhất lớn

Con: Duy trì nhiều hộp phần mềm nhỏ thay vì lưu trữ thực sự. Cần tích hợp chúng và dành $$$ giờ để có một thiết lập mạnh mẽ.

Tuyến XFS + LVM thực sự là một trong những lựa chọn tốt nhất cho giải pháp lưu trữ thuần Linux trong vài năm qua. Tôi khuyến khích bạn đã ở đó. Bây giờ bạn cần phát triển hơn nữa, bạn có sẵn một vài lựa chọn cho bạn.

Như bạn đã biết, các nhà cung cấp phần cứng lớn ngoài kia có đầu NAS để lưu trữ. Điều này thực sự sẽ cung cấp cho bạn một nhà cung cấp duy nhất để làm việc để làm cho tất cả xảy ra, và nó sẽ hoạt động khá tốt. Chúng là những giải pháp dễ dàng để có được (so với DIY) và khả năng bảo trì của chúng thấp hơn. Nhưng, chúng có giá khá cao. Một mặt bạn sẽ có nhiều tài nguyên kỹ thuật hơn để giải quyết các vấn đề chính của bạn hơn là các vấn đề về cơ sở hạ tầng; mặt khác, nếu bạn giống như hầu hết các khoa của trường đại học, tôi biết sức mạnh của con người thực sự rẻ so với việc trả tiền mặt cho mọi thứ.

Đi theo lộ trình DIY bạn đã có sự đánh giá cao về các tùy chọn DIY có sẵn cho bạn. ZFS / BTRFS là đường dẫn nâng cấp rõ ràng từ XFS + LVM cho lưu trữ được thu nhỏ. Tôi đã tránh xa BTRFS cho đến khi nó được tuyên bố là 'ổn định' trong nhân chính tuyến Linux, điều này sẽ sớm xuất hiện khi một số bản phân phối miễn phí chính đang sử dụng nó làm hệ thống tệp mặc định. Đối với ZFS, tôi khuyên bạn nên sử dụng cơ sở BSD thay vì OpenIndiana đơn giản vì nó đã tồn tại lâu hơn và các nút thắt (nhiều hơn) đã hoạt động.

Gluster được thiết kế cho trường hợp sử dụng mà bạn mô tả ở đây. Nó có thể sao chép cũng như trình bày một máy chủ ảo duy nhất với rất nhiều bộ nhớ được đính kèm. Khối phân tán của chúng phát ra âm thanh chính xác những gì bạn đang tìm kiếm, vì chúng phát tán các tệp trên tất cả các máy chủ lưu trữ trên ổ đĩa được khai báo. Bạn có thể tiếp tục thêm các máy chủ lưu trữ riêng biệt để tiếp tục mở rộng âm lượng hiển thị. Tên không gian duy nhất!

Gotcha với Gluster là nó hoạt động tốt nhất khi khách hàng của bạn có thể sử dụng Máy khách Gluster để truy cập hệ thống thay vì các tùy chọn CIFS hoặc NFS. Vì bạn đang chạy một cụm tính toán cụm nhỏ, bạn có thể sử dụng ứng dụng khách GlusterFS.

Bạn đang đi đúng hướng ở đây.

Theo tôi hiểu, bạn có thể sử dụng giải pháp SAN dựa trên Linux SCST + FibreChannel hoặc infiniband, đây là thứ tôi đang xây dựng ngay bây giờ. Là cơ sở cho các LUN, bạn có thể sử dụng LVM trên các RAID phần cứng và xử lý các ảnh chụp nhanh / sao chép (lấy DRBD làm ví dụ) bên dưới cấp độ hệ thống tệp. Là một hệ thống tập tin, tôi không biết về bất kỳ giải pháp tốt nào cho tính đồng thời vì tôi đặt ESXi lên trên các nút, vì vậy các kho dữ liệu được quản lý bởi FS đồng thời ESX. Tôi nghĩ GFS2 có thể hoạt động với môi trường đó nhưng tôi không chắc chắn 100%, vì bạn nên kiểm tra các yêu cầu chính xác của mình. Dù sao, một khi bạn có một SAN mạnh mẽ bên dưới các nút của mình, thật dễ dàng để hoàn thành công việc.