Hệ thống tệp Linux cho một máy chủ tệp lớn

Tôi muốn biết, từ những người có kinh nghiệm hơn, đâu là sự lựa chọn tốt nhất của hệ thống tệp để sử dụng cho một máy chủ tệp có hơn 20TB đĩa cứng. Cá nhân tôi luôn sử dụng EXT3 (trước đây) và EXT4 (kể từ khi có) [và một lần ReiserFS 3 mặc dù nó gây ra nhiều hỏng dữ liệu] trên máy tính cá nhân của tôi và trên các đĩa BOOT và ROOT "máy chủ nhỏ".

Tuy nhiên, vì các công cụ EXT4 (mặc dù không phải bản thân EXT4) bị giới hạn ở các phân vùng 16TB nên đây có thể không phải là lựa chọn tốt nhất của tôi. Phân phối sẽ là Debian 6.0 (Bóp) và / hoặc Gentoo (phiên bản mới nhất), do đó, kernel nên khá gần đây (trên Debian ít nhất là có backport), nghĩa là kernel linux> = 2.6.32.

Máy chủ tệp sẽ được sử dụng cho ba mục đích gửi thư (và cả các phân vùng riêng biệt, vì mục đích là để giữ cho dữ liệu "an toàn" và không thực sự quan tâm nhiều đến chi phí hoạt động). Tất cả các đĩa mặc dù được mã hóa bằng LUKS :

1. Đa phương tiện, tải xuống và kho lưu trữ debian cục bộ [Tôi có ít nhất 6 máy chạy Debian]> 20TB (có thể tách thêm giữa kho lưu trữ Media, Tải xuống và Debian)
2. Dữ liệu (Tài liệu, Ảnh, ...) ~ 4TB SAFE (có nghĩa là raid1 hoặc raid6 + đĩa sao lưu)
3. Sao lưu> = 20 TB để sao lưu các máy tính khác trong mạng gigabit của tôi (bạn có thể đề xuất một phần mềm sao lưu toàn bộ hệ điều hành ngay cả khi đó là windows, BackupPC cho biết điều đó có thay thế không?)

Tốc độ nhanh không thực sự cần thiết (truy cập đồng thời: tối đa tới 2 hoặc 3 tệp lớn, ví dụ như video), ngay cả khi "chỉ" 200 MB / giây đọc từ 10 ổ cứng Raid6 tôi có thể sống với điều đó.

Tóm lại tôi tìm kiếm một hệ thống tập tin đáng tin cậy, có thể mở rộng (nghĩa là có thể mở rộng dễ dàng) hỗ trợ hơn 20TB / phân vùng. FS càng an toàn và đáng tin cậy thì càng tốt. Phần cứng được sử dụng sẽ có ít nhất một lõi tứ (amd x4 630 hoặc intel i5-2500k) và nhiều RAM (> 8GB, có thể> 16GB) để đáp ứng yêu cầu phần cứng.

PC / Máy chủ của tôi sẽ được kết nối với một UPS (Nguồn cung cấp điện liên tục) trong trường hợp mất điện Có thể làm phương tiện và sao lưu trên các máy riêng biệt (ví dụ: hai máy chủ).

Rất nhiều người đang đề xuất ZFS. Nhưng ZFS không có sẵn tự nhiên trong Linux ngoại trừ thông qua cầu chì. Tôi sẽ không đề xuất điều này cho tình huống của bạn, nơi hiệu suất có thể là quan trọng.

Thật không may, ZFS sẽ không bao giờ có sẵn như là một mô-đun hạt nhân riêng trừ khi các vấn đề cấp phép được sắp xếp theo cách nào đó.

XFS là tốt, nhưng một số người đã báo cáo các vấn đề tham nhũng và tôi thực sự không thể nhận xét về điều đó. Tôi đã chơi với các phân vùng XFS nhỏ và không gặp phải những vấn đề này nhưng không được sản xuất.

ZFS có quá nhiều ưu điểm & tính năng hữu ích không thể bỏ qua. Tóm lại, chúng là (xem ZFS Wiki để biết mô tả đầy đủ về ý nghĩa của chúng):

• Toàn vẹn dữ liệu
• Bể chứa
• L2ARC
• Công suất cao
• Sao chép trên viết
• Ảnh chụp nhanh & nhái
• Phân dải động
• Kích thước khối biến
• Tạo hệ thống tập tin nhẹ
• Quản lý bộ nhớ cache
• Endianness thích nghi
• Chống trùng lặp
• Mã hóa

Vậy làm thế nào để chúng ta có được xung quanh nó? Đề xuất thay thế của tôi có thể phù hợp với tình huống của bạn là xem xét nexenta . Đây là một hạt nhân Open Solaris với các công cụ người dùng GNU chạy trên đầu trang. Có nhân Open Solaris nghĩa là có sẵn ZFS.

Bạn nên thử XFS, phù hợp với yêu cầu của bạn:

XFS là một hệ thống tệp 64 bit. Nó hỗ trợ kích thước hệ thống tệp tối đa là 8 exbibytes trừ đi một byte, mặc dù điều này phải tuân theo giới hạn khối được áp đặt bởi hệ điều hành máy chủ. Trên các hệ thống Linux 32 bit, điều này giới hạn kích thước tệp và hệ thống tệp ở mức 16 tebibytes.

Tùy chọn dễ nhất của bạn là sử dụng XFS. Rất nhiều trải nghiệm tồi tệ xung quanh XFS dựa trên các phiên bản cũ và các sự cố phần cứng máy tính để bàn mà tôi không nghĩ là thực sự phù hợp cho việc triển khai mới trên phần cứng máy chủ chất lượng tiêu chuẩn. Tôi đã viết một bài đăng trên blog về chủ đề này có thể giúp bạn sắp xếp tình huống hiện tại. Có nhiều cài đặt cơ sở dữ liệu XFS bận rộn với hàng trăm người dùng và terabyte dữ liệu tôi giúp quản lý. Tất cả đều nằm trong kernel Debian Lenny (2.6.26) trở lên và tôi đã không nghe thấy một gợi ý rắc rối nào với họ trong nhiều năm. Tôi sẽ không sử dụng XFS với bất kỳ kernel nào sớm hơn thế. Tôi đã nghe một số báo cáo trực tiếp về việc mọi người nhìn thấy hành vi XFS lạ khi hệ thống hết bộ nhớ hoặc không gian đĩa; Mặc dù vậy tôi vẫn chưa thấy điều đó.

Tùy chọn hợp lý duy nhất khác là sử dụng ext4 với một số hack để hỗ trợ các hệ thống tập tin lớn hơn. Tôi sẽ không mong đợi rằng có một mức độ tin cậy rất khác nhau. Tôi đã phải khôi phục dữ liệu từ nhiều hệ thống ext4 bị hỏng do lỗi kernel, cho đến nay tất cả các hệ thống đều cố định ngược dòng nhưng không có trong kernel của nhà phân phối tại thời điểm đó. ext4 có tập hợp các vấn đề siêu dữ liệu riêng như mất dữ liệu phân bổ bị trì hoãn , những điều ít có khả năng xảy ra trên ext3. Tôi sẽ ước tính tỷ lệ bạn gặp phải lỗi ext4 thậm chí còn cao hơn bình thường nếu bạn buộc nó vượt quá giới hạn kích thước bình thường, đơn giản vì có vẻ như nhiều khả năng bạn sẽ gặp một đường dẫn mã mới được kiểm tra kém hơn tại một số điểm .

Ý tưởng thay thế là chỉ sử dụng ext3 an toàn và nhàm chán hơn, chấp nhận giới hạn 16TB và phân vùng mọi thứ tốt hơn để không có hệ thống tệp đơn lẻ nào phải lớn như vậy.

Một kết thúc lỏng lẻo liên quan đến các vấn đề tạp chí. Bạn đã không nói về cách tất cả các ổ đĩa này sẽ được kết nối. Hãy chắc chắn rằng bạn hiểu hàm ý của bất kỳ bộ nhớ đệm ghi nào trong chuỗi lưu trữ của bạn ở đây. Vô hiệu hóa nó hoặc đảm bảo hệ thống tập tin đang xóa bộ đệm. Tôi đã lấy một số tài nguyên về điều đó tại Đáng tin cậy nếu đó chưa phải là thứ bạn đang kiểm tra.

Ổ đĩa hút. Mảng RAID hút. Hệ thống tập tin hút. Nhiều thất bại xảy ra. Tôi rất vui khi thấy bạn đã nghĩ về sao lưu; đi từ tốt đến độ tin cậy cao về lưu trữ đòi hỏi nhiều hơn là chỉ RAID và một số ổ đĩa dự phòng. Sự dư thừa chi phí một cái gì đó ở mọi cấp độ và tiền cho phần cứng so với độ phức tạp của phần mềm rất khó để điều hướng. Và xem kỳ vọng hiệu suất của bạn. Mặc dù một mảng RAID như bạn đang xem xét sẽ dễ dàng thực hiện hàng trăm MB / s, tất cả chỉ cần hai trình đọc đồng thời tìm kiếm đĩa xung quanh để giảm xuống chỉ còn vài MB / s. Tôi có thể dễ dàng nghiền nát một mảng RAID10 24 đĩa sao cho nó chỉ cung cấp <5MB / s so với khối lượng công việc chuẩn . Một điều có ích là đảm bảo rằng bạn điều chỉnh hướng đọc lên trên nếu có thể có nhiều trình đọc phát trực tuyến.

Việc triển khai trên ZFS bằng FreeBSD có thể xảy ra ở đây bằng cách sử dụng gbde để mã hóa. Bản thân ZFS sẽ là nhà cung cấp RAID phần mềm, thông qua RAIDZ . Sự phức tạp trong quản lý lưu trữ của việc xây dựng các zpool không khác biệt đáng kể so với những gì Linux sẽ đưa bạn đến với mdadm, và trong một số trường hợp sẽ thực sự dễ dàng hơn. Bản cài đặt ZFS đầu tiên của tôi (trên Solaris 10 khoảng 3 năm trước) có hệ thống tệp 17TB trên 48 ổ đĩa. Tôi đã sống sót qua nhiều lần thất bại ở đó mà không gặp vấn đề gì, học cách quản lý ZFS khi tôi đi.

Ưu điểm chính là tính năng kiểm tra của ZFS cung cấp khả năng phát hiện lỗi tốt hơn Linux, đây là một biện pháp bảo vệ chống lại phần cứng xấu đáng xem xét. Nhược điểm chính là xung quanh FreeBSD ít phổ biến hơn. Bạn chưa biết cách quản trị nó, hỗ trợ phần cứng yếu hơn Linux một chút và vì đây là một nền tảng ít phổ biến hơn nên không có nhiều người yêu cầu trợ giúp nếu bạn gặp vấn đề.

Một mảng lưu trữ nhiều terabyte thực sự làm nổi bật những gì ZFS là tốt mặc dù. Thật đáng để xem xét nghiêm túc nếu bạn sẵn sàng lao vào một cái gì đó mới. Nếu bạn muốn khám phá hoang tưởng sao lưu thực sự, hãy xây dựng các máy chủ sao lưu Linux và FreeBSD, để giảm tỷ lệ lỗi hệ điều hành là một điểm gây ra lỗi duy nhất.

Theo trang so sánh hệ thống tệp của wikipedia , có nhiều hệ thống tệp đáng chú ý phù hợp với nhu cầu của bạn như JFS, XFS, UDF, ZFS, GPFS và Btrfs. Chỉ cần nhấp vào kích thước tệp tối đa để sắp xếp và chọn một kích thước phù hợp nhất