Làm thế nào để bạn tạo các hệ thống tệp chia sẻ lớn, có thể phát triển trên Linux tại AWS?


8

Những cách được chấp nhận / hợp lý / tốt nhất để cung cấp dung lượng lưu trữ lớn, có thể phát triển, được chia sẻ tại AWS, được hiển thị dưới dạng một hệ thống tệp duy nhất?

Chúng tôi hiện đang tạo ra khối lượng EBS 1TB ~ hai tuần một lần và xuất NFS với no_subtree_check và no leather. Trong thiết lập này, xuất khẩu riêng biệt xuất hiện dưới một gắn kết duy nhất trên máy khách. Sự sắp xếp này không có quy mô tốt.

Các tùy chọn chúng tôi đã xem xét:

  • LVM2 với ext4. resize2fs quá chậm.
  • Btrfs trên Linux. rõ ràng là chưa sẵn sàng cho thời gian chính.
  • ZFS trên Linux. rõ ràng là chưa sẵn sàng cho thời gian chính (mặc dù LLNL sử dụng nó)
  • ZFS trên Solaris. tương lai của kết hợp này là không chắc chắn (với tôi) và hệ điều hành mới trong hỗn hợp
  • ánh kim. nghe chủ yếu là tốt nhưng hai câu chuyện đáng sợ (và có thể cũ?).

Giải pháp lý tưởng sẽ cung cấp chia sẻ, chế độ xem fs duy nhất, khả năng mở rộng dễ dàng, ảnh chụp nhanh và sao chép.

Cảm ơn đã chia sẻ ý tưởng và kinh nghiệm.


2
Bạn đã chạy các số trên này? Nó gây cho tôi sự đắt đỏ ...
Michael Hampton

Câu hỏi hay. Câu trả lời là sắp xếp, nhưng chúng ta sớm. Nhu cầu dữ liệu của chúng tôi rất cao và nhu cầu tính toán bùng nổ. Vì vậy, không rõ chi phí nào cao hơn: AWS với lưu trữ đắt tiền và giải pháp điện toán đỉnh rẻ hơn, hoặc cục bộ với tính toán đắt tiền và lưu trữ rẻ hơn. (Tôi thậm chí không tin rằng chi phí lưu trữ được tải đầy đủ thực sự rẻ hơn.) Chúng tôi có thể bỏ dữ liệu lưu trữ trong Glacier để giảm chi phí (các ràng buộc xảy ra với chúng tôi).
lừa

1
Đừng quên chi phí băng thông.
Michael Hampton

Về ZFS, đó là Solaris hoặc FreeBSD, nhưng như bạn đã nói, tương lai có phần không chắc chắn đối với Solaris và ZFS mã nguồn mở bị kẹt ở phiên bản 28 (bất kể HĐH nào).
Ouki

Câu trả lời:


1

Làm thế nào về XFS (trên đầu LVM)? Nó trưởng thành hơn ext4 và có khả năng thực hiện các kết xuất tăng dần của hệ thống tập tin. Bạn có thể muốn kiểm tra bài viết trên wikipedia của nó và điểm chuẩn so với ext4 được tham chiếu trong đó.


Cảm ơn, Petr. Tôi đã xem xét (và quên) kết hợp LVM + XFS. Tôi có một chút lo lắng về LVM2 và XFS, chủ yếu xoay quanh sự không chắc chắn và độ phức tạp hoạt động mới đối với chúng tôi. Tôi không mong đợi nhận được thứ gì đó (chẳng hạn như bộ nhớ có thể mở rộng mà không cần nỗ lực), nhưng tôi muốn giảm thiểu nỗ lực và rủi ro cho chúng tôi. Ví dụ, ý nghĩa của việc mất một khối EBS là một phần của mảng RAID1? Nó có thể không phải là vấn đề, nhưng tại thời điểm này, những câu hỏi như vậy tạo ra sự không chắc chắn cho tôi. Trong kỷ nguyên của ZFS và btrfs, tôi đã hy vọng vượt qua sự phức tạp như vậy.
Reece

@Reece Câu hỏi là liệu bạn có tin tưởng vào trình ánh xạ thiết bị hay không, hầu hết LVM thực sự là các công cụ không gian người dùng được hỗ trợ bởi dm. Bạn sẽ cần hạt nhân không quá ancinet (2.6.33+ - xem wiki ).
peterph
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.