Cấu hình RAID cho NAS lớn


13

Tôi đang nghĩ đến việc xây dựng một hộp NAS đĩa 24 1TB, nhưng tôi không chắc cấu hình ổ đĩa tốt nhất là gì. Tôi đang xem xét việc sử dụng bộ điều khiển ARC-1280ML-2G của areca và treo tất cả 24 ổ đĩa.

Tôi muốn tất cả được gắn kết thành một tập, do loại dữ liệu chúng tôi lưu trữ trên đó. Một ý tưởng điên rồ mà chúng tôi có là cấu hình 6 ổ RAID 5 đĩa, sau đó thực hiện phần mềm RAID 5 trên 6 ổ đó. Điều đó có nghĩa là bất kỳ một tập nào cũng có thể chết trên chúng tôi và chúng tôi vẫn không mất dữ liệu.

Tôi nên lưu ý rằng đây là một dự án R & D, chúng tôi đã có một ứng dụng sắp tới, nơi chúng tôi sẽ cần hàng chục terabyte dung lượng để có thể nhanh chóng và khả dụng cao. Nhưng đối với giai đoạn R & D ban đầu, chúng ta có thể chấp nhận một số rủi ro.

Giải pháp tốt nhất cho loại cấu hình này là gì? Với 24 đĩa 1 TB, có thể nhiều hơn một đĩa sẽ bị hỏng cùng một lúc (hoặc trong thời gian cần để xây dựng lại âm lượng sau thất bại đầu tiên), vì vậy tôi gặp khó khăn khi tìm giải pháp tốt.

Câu trả lời:


10

Đã có một cấp độ RAID cho những gì bạn muốn; Nó được gọi là RAID 10.

MTBF cho các ổ đĩa cấp độ chuyên nghiệp và người tiêu dùng đã tăng lên một mức độ lớn trong những năm gần đây, tỷ lệ lỗi không thể sửa chữa vẫn tương đối ổn định. Tốc độ này được ước tính là 10 ^ 14 bit, do đó, một bit trên 12 terabyte đọc, cho các ổ đĩa SATA tiêu dùng, nguồn .

Vì vậy, đối với mỗi lần quét các ổ đĩa 24Tb của bạn, theo thống kê, bạn sẽ gặp ít nhất 2 lỗi bit đơn. Mỗi lỗi đó sẽ kích hoạt việc xây dựng lại RAID5 và tệ hơn là trong quá trình xây dựng lại lỗi thứ hai sẽ gây ra lỗi kép.


Điểm tuyệt vời về tỷ lệ lỗi không thể sửa chữa, nhưng trong đoạn 3, bạn nên thêm rằng "về mặt thống kê, bạn sẽ gặp phải ...", vì tất cả chúng ta đều biết rằng đọc lỗi (hoặc thiếu chúng) không chắc chắn
Matt Simmons

Nó sẽ không cố đọc lại trước khi xây dựng lại chứ?
Antoine Benkemoun

Antoine: Chắc chắn, nhưng nếu nó thực sự không thể đọc được, nó sẽ phải xây dựng lại để lấy dữ liệu từ tính chẵn lẻ, IIRC.
Matt Simmons

@Antonie, đây là những lỗi đọc không chính xác, đó là lỗi không thể sửa được bằng logic ECC của ổ đĩa (đang sửa lỗi với tỷ lệ cao hơn đáng kể so với 1: 10 ^ 14)
Dave Cheney

Vì vậy, đây là những lỗi được gây ra bởi lỗi viết? Điều gì giữ cho một lần đọc thứ hai không xảy ra thành công?
Antoine Benkemoun

11

Đây chính xác là công việc hàng ngày của tôi ... xây dựng các máy chủ lưu trữ Linux.

  • Thẻ Areca là OK. Bạn có thể sử dụng nó trong RAID-6, nó sẽ cung cấp bảo mật hợp lý. Mua bộ phận dự phòng Pin tùy chọn , quá.
  • Sử dụng đĩa cấp doanh nghiệp , không phải ổ đĩa máy tính để bàn. Bạn sẽ chi thêm 400 đô la cho máy chủ của mình, nhưng nó cũng xứng đáng. Mua hai ổ đĩa dự phòng. Đừng lộn xộn với nó, sử dụng các đĩa của cùng một mô hình.
  • Đối với hệ thống tập tin, sử dụng XFS . Không đùa, ext3 và bạn bè chỉ đơn giản là không phù hợp với hệ thống tập tin 16TB +. Ngay cả trong trường hợp xảy ra sự cố nghiêm trọng, xfs_V ngoặc sẽ khá nhanh với dung lượng 20TB (15 phút, không hơn).
  • Tốt hơn là sử dụng LVM2 , nó sẽ dễ dàng quản lý lưu trữ, ngay cả khi bạn không có kế hoạch sửa đổi nó nhiều.
  • cài đặt công cụ quản lý areca và viết một công việc định kỳ để gửi email cho bạn hàng ngày với kiểm tra sức khỏe.
  • Đừng quên sao lưu . RAID không phải là bản sao lưu; nếu ai đó chỉ cần xóa một tệp quan trọng, bạn sẽ không thể khôi phục mà không có bản sao lưu thích hợp. Cá nhân tôi sử dụng sao lưu dự phòng để lưu tất cả dữ liệu quan trọng trên máy chủ chuyên dụng có lịch sử một tháng; bạn cũng có thể tạo hai khối RAID trên máy chủ tệp của mình và sao lưu một tệp khác.

6

wow, RAID5 trên RAID5? Bạn muốn thảo luận về vấn đề hiệu suất? Bạn sẽ có hàng tấn . Máy chủ mà bạn treo chúng sẽ có tính chẵn lẻ của mèo con, viết chẵn lẻ đó vào 3 ổ đĩa và sau đó tính toán tính chẵn lẻ của THAT và ghi nó vào ổ đĩa thứ 4 của bộ đó. Ôi!

Hãy nói về RAID10. Về cơ bản, đó là RAID 1, nhưng bạn chia đôi ổ đĩa của mình và phản ánh điều đó. Đó là khả năng chịu lỗi ở chỗ bạn có thể mất 2 ổ đĩa và vẫn ổn, cộng với hiệu suất vượt trội.

Nếu bạn không cần một dung lượng điên rồ, nhưng bạn có một mảng 24TB ngồi xung quanh không có gì tốt hơn để làm, nhưng nó hoàn toàn tích cực phải lên, thì bạn có thể xem xét RAID60. Về cơ bản, RAID6 sử dụng các bộ ổ đĩa được nhân đôi. Bạn sẽ mất khoảng một nửa ổ đĩa và hiệu suất sẽ rất tệ, nhưng bạn sẽ gần như được đảm bảo rằng dữ liệu sẽ ở đó.

Thực sự, tôi sẽ dùng RAID10. Nó thực hiện tốt và hoạt động tốt. Tôi thứ hai theo ý kiến ​​của Evan rằng có lẽ bạn không nên tạo ra các bộ RAID khổng lồ từ nhiều đĩa đó, vì như ông nói, những thứ như fsck và chkdsk sẽ tồn tại mãi mãi, nhưng quan trọng hơn là trong suy nghĩ của tôi, bởi vì khả năng thống kê là lỗi đọc tăng lên như kích thước đĩa cá nhân nào. Tôi muốn giới thiệu 7-10 đĩa mỗi bộ. Bạn có thể tạo 3 khối RAID có kích thước rất lớn với số lượng trục chính đó.

Cho dù bạn chọn cách nào, hãy nhớ để lại một vài đĩa ở các phụ tùng nóng, để bạn có thể bắt đầu xây dựng lại ngay lập tức, thay vì phải chờ mảng thay thế. Ngay khi một đĩa chết, đồng hồ bắt đầu tích tắc cho một cái khác đi.


@Matt: Tôi không nói về kích thước của bộ RAID-- Tôi đang nói về kích thước của hệ thống tập tin. Sử dụng một hệ thống tệp lớn, bất kể loại hệ thống tệp nào, sẽ yêu cầu thời gian chết rất lớn khi bạn phải chạy kiểm tra hệ thống tệp vì hệ điều hành máy chủ "làm hỏng" hệ thống tệp, v.v.
Evan Anderson

@Evan - Xin lỗi, xấu của tôi. Nhưng đó là một lập luận khác chống lại nó, là tốt.
Matt Simmons

@Matt: Một lập luận chống lại cái gì? Bố cục của các bộ chứa RAID và số lượng hệ thống tập tin trên các bộ chứa RAID đó là mối quan tâm chính. Bạn không cần phải có một hệ thống tệp duy nhất trong một bộ chứa RAID và một hệ thống tệp có thể mở rộng nhiều bộ chứa RAID trong hầu hết các hệ điều hành.
Evan Anderson

Bạn đúng trên cả hai. Chúng tôi đồng ý. Bạn không nên tạo các hệ thống tập tin cực lớn vì thời gian kiểm tra rất tệ. Bạn cũng không nên thực hiện khối lượng đột kích cực lớn vì khả năng thống kê của lỗi đọc tăng lên.
Matt Simmons

2

Tại sao không RAID 1 + 0? Tất cả đều được xử lý ở cấp điều khiển ...


1

Tôi biết rằng bạn đã nói "R & D", nhưng bạn cũng nói "rất khả dụng". Tôi sẽ đặt câu hỏi về "sự tiết kiệm" của một giải pháp DIY so với việc mua thiết bị SAN ngoài luồng để làm điều này. Khi gặp sự cố với giải pháp DIY của bạn, bạn sẽ ở vào vị trí không thể tin được khi không có ai liên hệ để được giúp đỡ. Thời gian chết chi phí cho bạn mỗi giờ là gì? Bạn có thể ăn hết chi phí của một số thiết bị SAN hạng trung khá nhanh trong chi phí thời gian chết, bỏ qua chi phí liên quan đến việc mất dữ liệu ngoài luồng.

Bất kể bạn làm gì về đĩa bên dưới, tôi sẽ không tạo một hệ thống tệp duy nhất lớn như vậy.

Tham nhũng hệ thống tập tin là một khả năng thực sự (vấn đề bộ điều khiển RAID, lỗi hệ điều hành, v.v.). Trong một khối lượng lớn, việc kiểm tra hệ thống tập tin sẽ diễn ra mãi mãi. Tôi thực sự khuyên bạn nên sử dụng nhiều tập có thể được kết hợp một cách hợp lý để xuất hiện dưới dạng một tập tin duy nhất (thông qua nhiều phương tiện khác nhau-- bạn không đề cập đến HĐH, vì vậy tôi không thể đưa ra ý tưởng cụ thể cho bạn). Nếu bạn có một số lỗi hệ thống tập tin, bạn sẽ mất một phần khối lượng logic, nhưng bạn vẫn sẽ "lên".

Ví dụ: Trong thế giới Windows, chạy CHKDSK trên ổ đĩa NTFS 20TB chứa đầy các tệp sẽ bị CHẬM . Trong loại môi trường đó, tôi sẽ tạo nhiều khối NTFS nhỏ hơn và kết hợp chúng thành một không gian tên duy nhất với DFS.


1

wazoox, câu trả lời là tốt Tôi không có đại diện để cho anh ta nhiều điểm cộng hơn, nhưng tôi sẽ thêm vào như sau.

RAID 6 hoặc ít nhất 2 đĩa chẵn lẻ trực tiếp trên 10 đĩa, nhiều nhất là 16 nếu bạn có thể mất khoảng một ngày khi hiệu suất sẽ bị ảnh hưởng bởi việc xây dựng lại cuộc đột kích của bạn. Nếu bạn không thể sống với sự xuống cấp thì nó sẽ phải được nhân đôi.

Nếu bạn đang đi theo con đường linux, tôi sẽ sử dụng thẻ đột kích phần cứng (có pin dự phòng) hoặc có bộ điều khiển đột kích trong vỏ đĩa. Tôi đồng ý rằng xfs là hệ thống tệp được lựa chọn trên Linux, tuy nhiên, hãy lưu ý rằng hệ thống tệp khoảng 50TB trên xfs sẽ chiếm hơn 16GB RAM nếu bạn cần chạy xfs_check.

Tôi sẽ nghiêm túc xem xét một hộp NAS tốt như NetApp vì chúng ít hoạt động lâu dài hơn, nó phụ thuộc vào thời gian quản trị viên lưu trữ của bạn đáng giá bao nhiêu cho công ty.

Để nfs / samba hoạt động tốt là một chút nghệ thuật đen tối, Bạn sẽ sử dụng 10GB ether hay chỉ là tổng hợp 1GB / giây? (Không nhận thẻ Broadcomm, đặc biệt là thẻ 10 GB).

LVM2 không có trí tuệ nhưng đừng sử dụng tính năng chụp nhanh vì nó không nhanh.

Hãy nhớ sao lưu này sẽ mất một thời gian.

Kiểm tra cách hệ thống có thể thất bại trước khi nó đi vào sản xuất và viết nó lên nơi bạn và đồng nghiệp của bạn có thể tìm thấy các tài liệu khi tất cả gặp sự cố.


1

Nó phụ thuộc vào tỷ lệ đọc / ghi của bạn. Chúng tôi sử dụng rất nhiều vỏ ổ đĩa ngoài 25 ổ đĩa HP MSA70 và luôn tạo chúng dưới dạng một mảng RAID6 vì tỷ lệ đọc / ghi của chúng tôi là 99%: 1% vì vậy chúng tôi không quan tâm rằng R6 chậm nhất khi viết ( vẫn còn khá nhanh, chỉ là không tốt so với những người khác). Bằng cách này, chúng tôi có 23 đĩa dữ liệu có sẵn cho chúng tôi, rất tốt, vì RẤT tốt, đọc ngẫu nhiên và đọc lợi ích băng thông tổng thể và có thể tồn tại hai lỗi đĩa.

Theo hướng dẫn sơ bộ, mảng RAID5 không nên có nhiều hơn khoảng 14 đĩa trong một mảng, trong khi RAID6 sẽ ổn với tối đa 54 đĩa hoặc hơn - rõ ràng mảng càng lớn thì khoảng cách giữa hiệu suất đọc và ghi càng lớn xây dựng lại chậm hơn sẽ mất nhưng nó có thể là một sự đánh đổi tốt.


0

Tôi sẽ thêm hai đĩa dự phòng để bắt đầu.

RAID 5 hoặc 6 là OK để đọc ngẫu nhiên hoặc đọc và ghi tuần tự lớn. Nếu bạn sẽ nhận được rất nhiều ghi nhỏ, hãy sử dụng RAID 10 vì RAID 5+ đạt 4 lần nhấn vào ghi nhỏ.

Nếu bạn đang bật ghi bộ nhớ cache, hãy nhớ sao lưu nó bằng pin.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.