Phần mềm so với hiệu suất RAID phần cứng và sử dụng bộ đệm

Tôi đã đọc rất nhiều về các bộ điều khiển / thiết lập RAID và một điều xuất hiện rất nhiều là làm thế nào các bộ điều khiển phần cứng không có bộ đệm cung cấp hiệu năng tương tự như RAID phần mềm. Đây đúng là tình trạng đó phải không?

Tôi luôn nghĩ rằng thẻ RAID phần cứng sẽ cung cấp hiệu năng tốt hơn ngay cả khi không có bộ đệm. Ý tôi là, bạn có phần cứng chuyên dụng để thực hiện các nhiệm vụ. Nếu đó là lợi ích của việc nhận thẻ RAID không có bộ đệm, thì thứ gì đó giống như LSI 9341-4i không chính xác là rẻ.

Ngoài ra, nếu tăng hiệu suất chỉ có thể với bộ đệm, có cấu hình bộ đệm ghi vào đĩa ngay lập tức nhưng giữ dữ liệu trong bộ đệm để đọc các hoạt động làm cho BBU không phải là ưu tiên?

Nói tóm lại: nếu sử dụng thẻ RAID cấp thấp (không có bộ đệm), hãy ưu tiên và chuyển sang RAID phần mềm. Nếu sử dụng thẻ từ trung cấp đến cao cấp (với BBU hoặc NVRAM), thì phần cứng thường (nhưng không phải lúc nào cũng vậy! Xem bên dưới) là một lựa chọn tốt.

Câu trả lời dài: khi sức mạnh tính toán bị hạn chế, thẻ RAID phần cứng có lợi thế đáng kể để giảm tải tính toán tương đương / hội chứng cho các sơ đồ RAID liên quan đến chúng (RAID 3/4/5, RAID6, ecc).

Tuy nhiên, với hiệu suất CPU ngày càng tăng, lợi thế này về cơ bản đã biến mất: ngay cả CPU cổ máy tính xách tay của tôi (Core i5 M 520, Westmere thế hệ) có XOR thực hiện hơn 4 GB / s và hiệu suất RAID-6 hội chứng hơn 3 GB / s trên một lõi thực thi đơn .

Ưu điểm mà RAID phần cứng duy trì hiện nay là sự hiện diện của bộ đệm DRAM được bảo vệ mất điện, dưới dạng BBU hoặc NVRAM. Bộ đệm được bảo vệ này cung cấp độ trễ rất thấp cho truy cập ghi ngẫu nhiên (và đọc lần truy cập đó) và về cơ bản chuyển đổi ghi ngẫu nhiên thành ghi tuần tự. Một bộ điều khiển RAID không có bộ đệm như vậy là gần như vô dụng . Ngoài ra, một số bộ điều khiển RAID cấp thấp không chỉ không có bộ đệm mà còn vô hiệu hóa bộ nhớ cache DRAM riêng của đĩa, dẫn đến hiệu suất chậm hơn so với không có thẻ RAID. Một ví dụ là thẻ PERC H200 và H300 của DELL: nếu phần sụn mới hơn không thay đổi điều đó, chúng sẽ vô hiệu hóa hoàn toàn bộ đệm riêng của đĩa (và không thể bật lại trong khi các đĩa được kết nối với bộ điều khiển RAID). Tự mình làm và làmkhông, không bao giờ, không bao giờ mua bộ điều khiển như vậy. Mặc dù bộ điều khiển cao cấp hơn thường vô hiệu hóa bộ đệm riêng của đĩa, nhưng ít nhất chúng cũng có bộ đệm được bảo vệ riêng - làm cho bộ nhớ cache riêng của ổ cứng (chứ không phải của SSD!) Có phần dư thừa.

Đây không phải là kết thúc, mặc dù. Ngay cả các bộ điều khiển có khả năng (bộ điều khiển có bộ đệm BBU hoặc NVRAM) có thể cho kết quả không nhất quán khi sử dụng với SSD, về cơ bản vì SSD thực sự cần bộ đệm riêng nhanh để lập trình / xóa trang FLASH hiệu quả. Và trong khi một số bộ điều khiển (hầu hết?) Cho phép bạn kích hoạt lại bộ đệm riêng của đĩa (ví dụ: PERC H700 / 710 / 710P cho phép người dùng kích hoạt lại nó), nếu bộ đệm riêng đó không được bảo vệ ghi thì bạn có nguy cơ bị mất dữ liệu trong trường hợp mất điện. Hành vi chính xác thực sự phụ thuộc vào bộ điều khiển và phần sụn (ví dụ: trên DELL S6 / i với bộ nhớ cache 256 MB WB và bộ đệm của đĩa được kích hoạt , tôi không bị mất trong quá trình kiểm tra mất điện theo kế hoạch nhiều lần), không chắc chắn và lo ngại nhiều.

Mặt khác, RAID phần mềm nguồn mở là những con thú dễ điều khiển hơn nhiều - phần mềm của chúng không được bao bọc trong phần sụn độc quyền và có các mẫu và hành vi siêu dữ liệu được xác định rõ. RAID phần mềm đưa ra giả định (phải) rằng bộ đệm DRAM riêng tư của đĩa không được bảo vệ, nhưng đồng thời nó rất quan trọng đối với hiệu năng chấp nhận được - vì vậy họ thường không vô hiệu hóa nó, thay vào đó họ sử dụng các lệnh ATA FLUSH / FUA để chắc chắn rằng rất quan trọng dữ liệu đất đai lưu trữ ổn định. Vì chúng thường chạy từ các cổng SATA được gắn vào chipset SB, băng thông của chúng rất tốt và hỗ trợ trình điều khiển rất tuyệt vời.

Tuy nhiên, nếu được sử dụng với các ổ cứng cơ học, mẫu truy cập ghi ngẫu nhiên, đồng bộ hóa (ví dụ: cơ sở dữ liệu, máy ảo) sẽ bị ảnh hưởng rất nhiều so với bộ điều khiển RAID phần cứng với bộ đệm WB. Mặt khác, khi được sử dụng với SSD doanh nghiệp (nghĩa là: với bộ đệm ghi được bảo vệ bằng powerloss), RAID phần mềm thường vượt trội và cho kết quả thậm chí cao hơn những gì có thể đạt được với thẻ RAID phần cứng. Điều đó nói rằng bạn phải nhớ rằng SSD dành cho người tiêu dùng (đọc: với bộ đệm ghi không được bảo vệ), trong khi rất tốt trong việc đọc và viết không đồng bộ, cung cấp IOPS rất thấp trong khối lượng công việc ghi được đồng bộ hóa.

Cũng xem xét rằng RAID phần mềm không phải là tất cả được tạo ra bằng nhau. Phần mềm RAID RAID có tiếng xấu, hiệu năng khôn ngoan và thậm chí Storage Space dường như không quá khác biệt. Linux MD Raid đặc biệt nhanh và linh hoạt, nhưng ngăn xếp I / O của Linux bao gồm nhiều phần độc lập mà bạn cần phải hiểu kỹ để đạt được hiệu suất tối đa. RAID chẵn lẻ ZFS (ZRAID) cực kỳ tiên tiến nhưng, nếu không được cấu hình đúng, có thể cung cấp cho bạn các IOP rất kém; phản chiếu + sọc, mặt khác, thực hiện khá tốt. Dù sao, nó cần một thiết bị SLOG nhanh để xử lý ghi đồng bộ (ZIL).

Dòng dưới cùng:

1. nếu khối lượng công việc của bạn không được đồng bộ hóa ghi ngẫu nhiên, bạn không cần thẻ RAID
2. nếu bạn cần một card RAID, đừng không mua một bộ điều khiển RAID mà không WB bộ nhớ cache
3. Nếu bạn có kế hoạch sử dụng phần mềm SSD thì RAID được ưu tiên nhưng hãy nhớ rằng để ghi ngẫu nhiên được đồng bộ hóa cao, bạn cần có SSD được bảo vệ bằng powerloss (ví dụ: Intel S4600, Samsung PM / SM863, v.v.). Đối với hiệu năng thuần túy, sự lựa chọn tốt nhất có lẽ là Linux MD Raid, nhưng hiện tại tôi thường sử dụng gương ZFS sọc. Nếu bạn không đủ khả năng để mất một nửa dung lượng do gương và bạn cần các tính năng nâng cao của ZFS, hãy đi với ZRAID nhưng suy nghĩ cẩn thận về thiết lập VDEVs của bạn.
4. nếu bạn, ngay cả khi sử dụng SSD, thực sự cần thẻ RAID phần cứng, hãy sử dụng SSD có bộ nhớ bảo vệ chống ghi (Micron M500 / 550/600 có bảo vệ một phần - không thực sự đủ nhưng tốt hơn là không có gì - trong khi Intel DC và S series bị mất điện hoàn toàn bảo vệ và điều tương tự cũng có thể nói đối với SSD Samsung dành cho doanh nghiệp)
5. nếu bạn cần RAID6 và bạn sẽ sử dụng các ổ cứng cơ học thông thường, hãy cân nhắc mua thẻ RAID nhanh với bộ đệm WB 512 MB (hoặc nhiều hơn). RAID6 có hình phạt hiệu năng ghi cao và bộ đệm WB có kích thước phù hợp ít nhất có thể cung cấp bộ lưu trữ trung gian nhanh để ghi đồng bộ nhỏ (ví dụ: tạp chí hệ thống tập tin).
6. nếu bạn cần RAID6 với ổ cứng nhưng bạn không thể / không muốn mua thẻ RAID phần cứng, hãy suy nghĩ cẩn thận về thiết lập RAID phần mềm của bạn. Ví dụ, một giải pháp khả thi với Linux MD Raid là sử dụng hai mảng: một mảng RAID10 nhỏ để ghi nhật ký / nhật ký DB và mảng RAID6 cho lưu trữ thô (dưới dạng máy chủ tệp). Mặt khác, phần mềm RAID5 / 6 với SSD rất nhanh, do đó bạn có thể không cần thẻ RAID để thiết lập tất cả các ổ SSD.

Bạn sẽ muốn một giải pháp bộ nhớ cache pin hoặc flash cho bất kỳ bộ điều khiển phần cứng nào bạn mua. Hối tiếc nhất là không làm như vậy .

Tuy nhiên, để trả lời câu hỏi của bạn, hầu hết các bộ điều khiển bộ nhớ cache có tỷ lệ cấu hình ... do đó, 100% đọc bộ nhớ cache và 0% ghi bộ nhớ cache phủ nhận sự cần thiết của bảo vệ BBU. Hiệu suất viết của bạn sẽ chỉ hút.

Tôi không thể giải quyết câu hỏi RAID phần mềm của bạn bởi vì nó phụ thuộc. Linux MD RAID khác với Windows Software RAID, khác với ZFS . Các giải pháp như ZFS có thể hoạt động tốt hơn phần cứng vì chúng tận dụng tài nguyên CPU và RAM của máy chủ.

Bộ điều khiển RAID mà bạn có mắt là một bộ giá rẻ và về cơ bản là giả mạo. Nó thậm chí còn phụ thuộc vào bo mạch chính của bạn để cung cấp một số chức năng như bộ nhớ và không có nhiều bo mạch chính hỗ trợ cho nó dẫn đến việc bạn không thể tải trình điều khiển.

Giới thiệu về CTNH vs SW-RAID. Tôi không sử dụng HW-RAID nữa trừ khi đó là một hộp có logo EMC trên đó. Đối với mọi thứ khác, tôi chỉ chuyển trở lại SW-RAID nhiều lần nữa vì một vài lý do rất đơn giản.

1. Bạn cần thêm phần cứng và cần phải phù hợp với chúng. Bạn cũng cần phải phù hợp với phần sụn và giữ nó đồng bộ. Rất nhiều đĩa sẽ không hoạt động chính xác và bạn sẽ tăng đột biến trong độ trễ IO của mình mà không có lý do rõ ràng.

2. Phần cứng bổ sung rất tốn kém vì vậy bạn có thể sử dụng thêm $ 1000 (bộ điều khiển hợp lý với hai / ba đĩa) cho một giải pháp nhỏ tốt hơn. Đầu tư vào nhiều đĩa và bộ điều khiển tiêu chuẩn, bộ nhớ ECC, CPU nhanh hơn. Và một đĩa dự phòng tại chỗ có thể nếu bạn dự định chạy nó lâu hơn thời gian bảo hành hoặc không muốn trả phí chuyển phát nhanh cho vận chuyển qua đêm.

3. Nâng cấp là một vấn đề khó khăn khi bạn cần theo dõi các bản vá OS và phần sụn cho cả đĩa và bộ điều khiển. Nó có thể dẫn đến tình huống nâng cấp / cập nhật không thể thực hiện được nữa.

4. Trên các định dạng đĩa. Đủ các nhà cung cấp sử dụng một số bố cục trong nhà để lưu trữ dữ liệu gắn liền với sửa đổi kết hợp phần cứng và phần sụn của bạn. Điều này có thể dẫn đến tình huống một bộ phận thay thế khiến bạn không thể truy cập dữ liệu của mình.

5. Nó là một SPOF và một nút cổ chai. Chỉ có một bộ điều khiển chỉ sau một cầu nối PCI không mang lại cho bạn hiệu năng và sự dự phòng mà bạn thực sự cần. Với điều này cũng không có đường dẫn di chuyển tồn tại để di chuyển dữ liệu sang một đĩa khác ngoài tầm với của bộ điều khiển.

Hầu hết các điểm này đã được quan tâm với các thế hệ phần mềm SW-RAID mới hơn hoặc các giải pháp như ZFS và BtrFS. Hãy nhớ rằng cuối cùng bạn muốn bảo vệ dữ liệu của mình và không thể truy cập nhanh, nhưng rác dư thừa.

Tôi đã dành năm ngoái (tắt và trong suốt 2014-2015) để thử nghiệm một số cấu hình song song CentOS 6.6 RAID 1 (được nhân đôi) bằng cách sử dụng 2 LSI 9300 HBA câu 2 Bộ điều khiển RAID LSI 9361-8i với các hệ thống được xây dựng trên: 2U Supermicro CSE- Khung máy 826BAC4-R920LPB, bo mạch chủ ASUS Z9PE-D16, 2 Bộ xử lý Intel Xeon E5-2687W v2 Eight-Core 3,4 GHz, Seagate ST6000NM0014 6TB SAS 12Gbs, RAM 512 GB. Lưu ý đây là cấu hình tuân thủ hoàn toàn SAS3 (12Gbps).

Tôi đã tìm hiểu kỹ các bài báo viết về phần mềm điều chỉnh và tôi đã sử dụng RAID phần mềm Linux trong hơn 10 năm. Khi chạy các kiểm tra I / O cơ bản (dd-oflag = các tệp 5k đến 100G trực tiếp, hdparam -t, v.v.), RAID phần mềm dường như xếp chồng lên nhau một cách thuận lợi cho cuộc đột kích phần cứng. Phần mềm RAID được nhân đôi thông qua các HBA riêng biệt. Tôi đã tiến hành thử nghiệm với các cấu hình kernel, kernel-lt và kernel-ml tiêu chuẩn của CentOS 6. Tôi cũng đã thử nhiều mdadm, hệ thống tệp, hệ thống con đĩa và điều chỉnh o / s được đề xuất bởi nhiều bài báo trực tuyến viết về RAID phần mềm Linux. Mặc dù điều chỉnh, kiểm tra, điều chỉnh và kiểm tra, khi chạy trong thế giới đọc, hệ thống xử lý giao dịch (có cơ sở dữ liệu MySQL hoặc Oracle), tôi đã thấy rằng việc chạy bộ điều khiển RAID phần cứng giúp tăng hiệu suất gấp 50 lần.

Trong nhiều tháng, tôi đã không tin rằng RAID phần cứng có thể tốt hơn rất nhiều, tuy nhiên, sau khi nghiên cứu kỹ lưỡng về RAID phần mềm Linux, thử nghiệm và điều chỉnh, đó là kết quả của tôi.

Hầu hết các nhà văn ở đây chỉ là không biết gì về " viết lỗ ". Đây là cơ sở cho phép khóc cho các đơn vị sao lưu của RAID phần cứng so với sự vắng mặt của một phần mềm RAID. Chà, ví dụ, triển khai RAID phần mềm Linux hoặc hỗ trợ bitmap của các thao tác ghi hoặc thực hiện tính toán lại "chẵn lẻ" đầy đủ trong trường hợp tắt máy không sạch. ZFS luôn cố gắng viết các sọc đầy đủ để tránh sự không nhất quán này hoặc hoãn lại việc kiểm tra lại. Vì vậy, như một tóm tắt, RAID phần mềm đủ thông minh ngày nay thường đủ tốt để sử dụng thay vì "ai biết những gì bên trong" cái gọi là "RAID phần cứng".

Đối với phần bộ nhớ cache của câu hỏi, nó thực sự không quan trọng lắm, vì bản thân bộ đệm ghi hệ điều hành có thể lớn hơn nhiều so với bộ điều hợp "phần cứng".

Tôi làm việc này mọi lúc. Nó phụ thuộc rất nhiều vào những gì bạn làm và mức độ đột kích mà bạn hỗ trợ. Bộ điều khiển SW chạy Raid 0 hoặc 1 cho HĐH và không có gì đặc biệt là tốt. Chạy bộ điều khiển SW với Raid 5 trên cơ sở dữ liệu đang gặp rắc rối! Một số bộ điều khiển phần cứng cung cấp cho bạn hiệu năng tốt hơn nhưng nó phụ thuộc vào việc nó có thể lưu trữ bộ đệm và chipset bộ xử lý của thẻ đột kích hay không. Ngoài ra, không phải tất cả các bộ điều khiển phần mềm đều được hỗ trợ bởi tất cả các hệ điều hành. Vì vậy, đôi khi bạn có thể phải mua CTNH để chạy ESXi ... Trừ khi bạn sử dụng kết nối sata.