ZFS - RAIDZ-1 có thực sự tệ đến vậy không?

Tôi có một máy chủ NAS với các ổ WD RE4-GP 4x 2TB trong cấu hình RAID10 (có thể sử dụng 4TB). Tôi sắp hết dung lượng (<1TB dung lượng có thể sử dụng còn lại). Tôi có $ 0 để chi tiêu cho các ổ đĩa / thùng lớn hơn / nhiều hơn.

Tôi thích những gì tôi đã đọc về các tính năng toàn vẹn dữ liệu của ZFS, mà - theo cách riêng của chúng - là đủ để tôi chuyển từ RAID10 (phần mềm) XFS hiện có của mình. Sau đó, tôi đã đọc về triển khai RAID5 vượt trội của ZFS, vì vậy tôi nghĩ rằng tôi thậm chí có thể có thêm 2TB dung lượng có thể sử dụng được trong cuộc mặc cả bằng cách sử dụng RAIDZ-1.

Tuy nhiên, tôi cứ đọc hơn và nhiều bài viết nói khá nhiều đến chỉ bao giờ sử dụng RAIDZ-1. Chỉ RAIDZ-2 + là đủ tin cậy để xử lý các lỗi ổ đĩa "thế giới thực". Tất nhiên, trong trường hợp của tôi, RAIDZ-2 không có ý nghĩa gì. Sẽ tốt hơn nhiều nếu sử dụng hai vdev được nhân đôi trong một nhóm (RAID10).

Tôi có điên không muốn sử dụng RAIDZ-1 cho các ổ 4x 2TB không?

Tôi có nên sử dụng một nhóm gồm hai vdev được nhân đôi (về cơ bản là RAID10) và hy vọng việc nén cho tôi đủ không gian?

Dù bằng cách nào, tôi có kế hoạch sử dụng nén. Tôi chỉ có 8GB RAM (tối đa), do đó, không phải là một lựa chọn.

Điều này sẽ có trên máy chủ FreeNAS (sắp thay thế hệ điều hành Ubuntu hiện tại) để tránh các vấn đề về tính ổn định của ZFS-on-Linux.

zfs freenas raidz

— Andrew Oblley
nguồn

Không chắc làm thế nào đây là ngoài chủ đề. Tôi đang xin lời khuyên về cấu hình hệ thống tệp thích hợp cho máy chủ.

— Andrew Oblley

Ngoài ra tốc độ ghi RAIDZ1or2 giảm so với RAID10

— JamesRyan

Nếu bạn có đủ CPU để tính chẵn lẻ mà không bị chậm, RAIDZ sẽ nhanh hoặc nhanh hơn RAID10 đối với hầu hết các lần ghi. RAIDZ ghi mọi thứ trong một dải RAID đầy đủ, không có chu trình đọc-sửa-ghi như với RAID5. Vì vậy, bạn sẽ nhận được nhiều băng thông đĩa hơn (nhiều dữ liệu hơn, ít chi phí hơn) và việc ghi nên nhanh hơn RAID10. Tuy nhiên, điều này có nhược điểm là đọc thường kết thúc chậm hơn. "Viết một dải đầy đủ mỗi lần" dẫn đến sự phân mảnh và không mang lại cho bạn lợi ích của việc chỉ đọc một tập hợp con của các đĩa cho nhiều lần đọc nhỏ. Đây là một quyết định thiết kế có ý thức.

— Dan Pritts 23/12/14

Những gì tôi nói ở trên chỉ đúng một phần. RAID10 sẽ nhanh hơn nhiều nếu bạn có ghi nhỏ đồng thời, ví dụ: máy chủ cơ sở dữ liệu. Trong RAIDZ, tất cả các đĩa đều hoạt động cho tất cả ghi; RAID10 chia tách chúng. Điểm tôi đang cố gắng vượt qua là RAIDZ không sử dụng chu trình đọc hiệu chỉnh và đọc có thể không an toàn của RAID5.

— Dan Pritts 3/03/2015

RAIDZ2 đáng tin cậy hơn RAID10. Với RAIDZ2, bất kỳ hai đĩa nào cũng có thể bị lỗi và bạn vẫn sẽ có dữ liệu của mình. Với RAID10, hai đĩa bị lỗi (trong một mảng bốn đĩa) có thể gây mất dữ liệu.

— Klaws

Câu trả lời:

Trước khi chúng tôi đi vào chi tiết cụ thể, hãy xem xét trường hợp sử dụng của bạn. Bạn đang lưu trữ ảnh, MP3 và DVD? Nếu vậy, bạn có thể không quan tâm liệu bạn có bị mất vĩnh viễn một khối từ mảng không. Mặt khác, nếu đó là dữ liệu quan trọng, đây có thể là một thảm họa.

Tuyên bố rằng RAIDZ-1 "không đủ tốt cho các thất bại trong thế giới thực" là do bạn có khả năng gặp lỗi phương tiện tiềm ẩn trên một trong các đĩa còn sót lại của mình khi thời gian tái thiết. Logic tương tự áp dụng cho RAID5.

ZFS giảm thiểu thất bại này ở một mức độ nào đó. Nếu một thiết bị RAID5 không thể được xây dựng lại, bạn sẽ gặp khá nhiều may mắn; sao chép dữ liệu (còn lại) của bạn ra và xây dựng lại từ đầu. Mặt khác, với ZFS, nó sẽ tái tạo lại tất cả trừ đoạn dữ liệu xấu và để quản trị viên "xóa" các lỗi. Bạn sẽ mất một tập tin / một phần của tập tin, nhưng bạn sẽ không mất toàn bộ mảng. Và, tất nhiên, kiểm tra tính chẵn lẻ của ZFS có nghĩa là bạn sẽ được thông báo một cách đáng tin cậy rằng có lỗi. Mặt khác, tôi tin rằng có thể (mặc dù không có khả năng) rằng nhiều lỗi sẽ dẫn đến việc xây dựng lại dường như thành công, nhưng mang lại cho bạn dữ liệu xấu.

Vì ZFS là " Vi phạm phân lớp Rampant " , nên nó cũng biết khu vực nào không có dữ liệu về chúng và có thể bỏ qua chúng trong quá trình xây dựng lại. Vì vậy, nếu mảng của bạn trống một nửa, bạn có thể có một nửa lỗi xây dựng lại.

Bạn có thể giảm khả năng xảy ra các loại lỗi xây dựng lại này ở bất kỳ cấp độ RAID nào bằng cách thực hiện "kiểm tra zpool" thông thường hoặc "kiểm tra mdadm" trong mảng của bạn. Có các lệnh / quy trình tương tự cho các RAID khác; ví dụ, thẻ đột kích LSI / dell PERC gọi đây là "đọc tuần tra." Chúng đi đọc mọi thứ, có thể giúp các ổ đĩa tìm thấy các cung bị lỗi và gán lại chúng trước khi chúng trở thành vĩnh viễn. Nếu chúng là vĩnh viễn, hệ thống RAID (thẻ ZFS / md / thẻ đột kích / bất cứ thứ gì) có thể xây dựng lại dữ liệu từ tính chẵn lẻ.

Ngay cả khi bạn sử dụng RAIDZ2 hoặc RAID6, các bộ lọc thông thường rất quan trọng.

Một lưu ý cuối cùng - RAID thuộc bất kỳ loại nào không thể thay thế cho các bản sao lưu - nó sẽ không bảo vệ bạn khỏi việc xóa ngẫu nhiên, ransomware, v.v. Mặc dù các ảnh chụp nhanh ZFS thông thường có thể là một phần của chiến lược sao lưu.

— Dan Pritts
nguồn

Cảm ơn lời giải thích đó. Điều đó rất có ý nghĩa và phù hợp với những gì tôi đã học về ZFS cho đến nay. Tôi thực sự đã tải lại máy chủ của mình với FreeNAS và đã đi với cấu hình RAIDZ-1. Tôi có nó được thiết lập để chà mỗi tháng một lần. Bạn có nghĩ rằng điều đó thường là đủ hoặc bạn sẽ đề nghị tẩy tế bào chết thường xuyên hơn? Vi phạm phân lớp tràn lan là tính năng yêu thích của tôi trong ZFS :-)

— Andrew Oblley

Tôi có một raidz1 chạy trên 7 ổ đĩa tiêu dùng ở nhiều độ tuổi khác nhau. Tôi có nó chà 2 tuần một lần. Nó thường tìm thấy một lỗi và sửa nó. Gần đây tôi đã mất một ổ đĩa và mất một tập tin có lỗi tiềm ẩn. May mắn thay, đó là một tập tin phương tiện mà tôi có thể dễ dàng thay thế. Đối với dữ liệu quan trọng của tôi, tất nhiên, tôi vẫn có bản sao lưu.

— Dan Pritts

Tôi sẽ chỉ ra - các ổ đĩa 'nhà' có 2 đơn đặt hàng có cường độ lỗi không thể phục hồi tệ hơn khi bình phương so với cấp 'doanh nghiệp'. Tôi vẫn khá vui khi tỷ lệ thất bại gộp trên RAID-5 có thể chấp nhận được trên các ổ đĩa FC / SAS phong nha. Sẽ không làm điều đó trên SATA mặc dù.

— Sobrique

Chỉ có một thứ tự cường độ so sánh hai ổ đĩa seagate: Seagate ST2000DM001: 1 trong 10E14. ST2000NM0033: 1 trong 10E15. Thực sự, mặc dù, khó khăn để nói chắc chắn liệu các cơ chế ổ đĩa có khác nhau không. Tôi đã nghe các nguồn đáng tin cậy đưa ra câu trả lời trái ngược.

— Dan Pritts

Tôi đã phát hiện ra một cáp SATA xấu trên hệ thống của mình - kể từ khi nó được thay thế, các bộ lọc của tôi đã không tìm thấy lỗi nào.

— Dan Pritts

Có một chút hiểu lầm trong công việc ở đây. Rất nhiều lời khuyên bạn đang thấy dựa trên một giả định có thể không đúng. Cụ thể, tốc độ lỗi bit không thể phục hồi của ổ đĩa của bạn.

Một đĩa 'người dùng gia đình' giá rẻ có 1 trên 10 ^ 14 tỷ lệ lỗi không thể phục hồi.

http://www.seagate.com/gb/en/iternal-hard-drive/desktop-hard-drive/desktop-hdd/#specs

Đây là mức độ mà bạn đang nói về khả năng xảy ra lỗi đáng kể trong quá trình xây dựng lại RAID, và vì vậy bạn không nên làm điều đó. (Một tính toán nhanh và bẩn cho thấy các bộ 5x -TB 5x-bộ thực sự sẽ có khoảng 60% khả năng này)

Tuy nhiên, điều này không đúng đối với các ổ đĩa đắt tiền hơn: http://www.seagate.com/gb/en/iternal-hard-drive/enterprise-hard-drive/hdd/enterprise-performance-15k-hdd/#specs

1 trên 10 ^ 16 tốt hơn 100 lần - có nghĩa là 5x 2TB là <1% cơ hội xây dựng lại không thành công. (Có lẽ ít hơn, vì đối với việc sử dụng doanh nghiệp, trục chính 600 GB thường hữu ích hơn).

Vì vậy, cá nhân - tôi nghĩ rằng cả RAID-5 và RAID-4 vẫn có thể sử dụng được, vì tất cả các lý do RAID-0 vẫn còn khá phổ biến. Đừng quên - vấn đề với RAID-6 là nó bị phạt rất nặng. Bạn có thể giảm thiểu một phần điều này bằng nhiều bộ nhớ đệm, nhưng bạn vẫn gặp phải một số khó khăn, đặc biệt là khi bạn làm việc với các ổ đĩa chậm ở nơi đầu tiên.

Và cơ bản hơn - KHÔNG BAO GIỜ tin tưởng RAID của bạn để cung cấp cho bạn khả năng phục hồi hoàn toàn. Bạn sẽ mất dữ liệu thường xuyên hơn cho 'oops' so với lỗi ổ đĩa, vì vậy bạn CẦN một chiến lược sao lưu hợp lý nếu bạn quan tâm đến dữ liệu của mình.

— Sobrique
nguồn

Tôi đang sử dụng 4 ổ WD RE4-GP, có <1 trong 10 ^ 15 lỗi đọc không thể phục hồi.

— Andrew Oblley

Hình phạt ghi RAID6 là rất thật. Tuy nhiên, RAID-Z2 không bị như vậy; zfs làm cho tất cả các ghi đầy đủ. Tuy nhiên, điều này có những tác động tiêu cực khác - nó có xu hướng làm giảm hiệu suất đọc vì nhiều lý do.

— Dan Pritts

Hmmm, một số thông tin xấu ở đây. Đối với 4 đĩa, thực sự không có gì sai với XFS. Tôi có xu hướng tránh ZFS RAIDZ vì lý do hiệu năng và khả năng mở rộng (đọc / ghi thấp, không thể mở rộng). Sử dụng gương ZFS nếu bạn có thể. Tuy nhiên, với 4 đĩa và không đặt được HĐH, bạn sẽ mất rất nhiều dung lượng hoặc phải trải qua các trò chơi phân vùng lẻ để phù hợp với HĐH và dữ liệu của bạn trên cùng bốn đĩa.

Có lẽ tôi không khuyên dùng ZFS cho trường hợp sử dụng của bạn. Không có gì sai với XFS ở đây.

— ewwhite
nguồn

Quên đề cập rằng hệ điều hành sống trên một ổ đĩa riêng. Lấy làm tiếc. Điều tôi muốn từ ZFS mà XFS RAID10 không có là xác minh dữ liệu tổng kiểm tra có thể phát hiện (và khắc phục trong suốt) các lỗi dữ liệu im lặng (một chút bị lật trên ổ đĩa và ổ cứng không có ý tưởng). Tôi không tin XFS có thể làm điều này.

— Andrew Oblley

Đối với bốn đĩa, hãy sử dụng máy nhân bản ZFS nếu có bất kỳ cơ hội nào bạn sẽ cần mở rộng hoặc nếu hiệu suất hoạt động. Tôi cũng sẽ tránh FreeNAS và chỉ sử dụng ZFS trực tiếp trên Linux.

— ewwhite

Bản thân tôi là một người cuối cùng, vì vậy tôi chắc chắn không chuyển đổi cho GUI. Hầu hết, tôi chỉ cần một hệ thống tệp ổn định (càng nhiều càng tốt) đảm bảo tính toàn vẹn của các tệp được lưu trữ trên đó. Và tôi đã hy vọng đạt được một số không gian trong quá trình này. Tôi đã thấy rất nhiều vấn đề được báo cáo cho ZoL, nhiều vấn đề liên quan đến nâng cấp hệ điều hành Ubuntu. Groups.google.com/a/zfsonlinux.org/forum/#!searchin/zfs-discuss/ nam Không cố gắng trở thành một nỗi đau. Chỉ cần giải thích tại sao tôi nghĩ những gì tôi nghĩ. Tôi chắc chắn mở để điều chỉnh.

— Andrew Oblley

Tốt rồi. Tôi đã thấy nhiều vấn đề hơn với FreeNAS (không phải FreeBSD), vì vậy nó đi cả hai chiều. Có thông tin ngoài đó. Tôi không sử dụng Ubuntu, nhưng tôi làm biết ZFS . ZFS của tôi trên Linux thường là với RHEL hoặc CentOS. Đây là một quy trình làm việc mẫu .

— ewwhite

Tôi sử dụng ZFS trên Linux và Centos 6. Tôi không cho phép cập nhật tự động kernel hoặc ZFS. Tôi đã gặp sự cố với ZFS / SCL borking, nhưng tôi chưa bao giờ bị mất dữ liệu. Đối với bản ghi, btw, FreeBSD có một tập hợp các thói quen tương thích với năng lượng mặt trời tương tự, nhưng chúng và ZFS được tích hợp hoàn toàn vào bản phân phối, điều này làm cho mọi thứ trở nên đơn giản hơn rất nhiều. Nếu tôi chỉ muốn ZFS và dịch vụ tệp, có lẽ tôi sẽ chạy FreeBSD. Trên thực tế, đó là những gì tôi từng làm, nhưng tôi sử dụng hộp cho những thứ ngẫu nhiên khác, khiến ZoL hấp dẫn hơn.

— Dan Pritts