Cấu hình đĩa Hadoop JBOD trên bộ điều khiển đĩa HP Smart Array 410 / i

Tôi đang trong giai đoạn đánh giá một số hw có thể được sử dụng để thiết lập một cụm hadoop. Hw này được tân trang lại (máy chủ hp G6 với bộ điều khiển Smart Array 410 / i) và có lẽ chúng ta nên / phải sử dụng nó ... chúng ta chưa làm được. Tôi đã đọc rằng bộ điều khiển 410 / i không cho phép cấu hình JBOD theo yêu cầu của hadoop, có ai có thể xác nhận tuyên bố này không? Hay không ? Có vẻ như một cách giải quyết có thể là cấu hình raid0 trên mỗi đĩa đơn, một lần nữa có ai xác nhận nó hay có cách nào khác để cấu hình không? Cảm ơn bạn

Bộ điều khiển Smart Array 410 / i chỉ cho phép tạo 2 thiết bị đột kích mà không cần thêm thẻ nhớ tùy chọn. Vì vậy, nếu phần cứng của bạn chỉ có 2 ổ đĩa thì sẽ ổn thôi; bạn chỉ có thể làm cho nó 2 raid0. Nếu bạn có nhiều hơn 2 ổ đĩa, bạn có thể sẽ phải mua Phần # 462974-001 - Mô-đun bộ nhớ BBWC được lưu lại bằng pin 256 MB. Nếu bạn không chắc chắn, hãy dùng thử tiện ích cấu hình, nó sẽ phàn nàn rằng có giới hạn về số lượng thiết bị đột kích được cấu hình cho phép nếu bạn cần mua addon bộ nhớ.

Gần đây tôi đã thiết lập một máy chủ ZFS sử dụng một trong số đó và 12 đĩa ở chế độ RAID0 cho mỗi máy và nó hoạt động tốt. Vì bạn có thể vô hiệu hóa khá nhiều tính năng của bộ điều khiển đột kích thực tế, nó thực sự giống như chế độ JBOD.

Tình huống này tương tự như những gì tôi gặp phải khi thiết kế phần cứng cho các giải pháp lưu trữ ZFS. ZFS là một RAID phần mềm và tận dụng tài nguyên của máy chủ để quản lý đĩa. RAID phần cứng không được khuyến nghị và JBOD không thực sự khả thi với bộ điều khiển Smart Array. Vì vậy, khi sử dụng các hệ thống ProLiant cho ZFS, tôi thay thế bộ điều khiển Smart Array bằng thứ gì đó có chế độ JBOD hoặc HBA SAS / SATA cơ bản.

Thông thường, đây sẽ là LSI SAS HBA (không có tính năng RAID). Sở thích của tôi là LSI 9211-8i hoặc 9205e.

Xem các đề xuất tại: Đề xuất bộ điều khiển ZFS SAS / SATA

Mặc dù phạm vi Pxxx không cho phép cấu hình JBOD trực tiếp nếu bạn chỉ tạo một mảng khỏi tất cả các đĩa của mình và sau đó tạo nhiều mảng RAID0 có kích thước tương đương, sau đó bạn có khá nhiều về sự tương tự về chức năng. Điều đó nói rằng tôi cũng hơi mơ hồ về yêu cầu của Hadoop, trước tiên, không có cách nào nó thực sự có thể cho biết cấu hình đĩa thực như được ẩn bởi BIOS và thứ hai bởi vì nó dường như được kê đơn quá mức cho rằng bộ điều khiển HP nghĩ như thế nào, là gì vấn đề với mảng quản lý đĩa của nó?

Bạn có thể cấu hình RAID0 trên mỗi đĩa phisical có sẵn.

Giả sử nếu bạn có 8 đĩa, thì cuối cùng bạn sẽ có thứ gì đó tương tự (CentOS 6):

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)