Chia sẻ / nhà giữa các trung tâm dữ liệu


15

Tôi có hai máy chủ, được đặt tại các trung tâm dữ liệu ở holland và france. Cả hai đều chạy Debian Wheezy. Tôi cần chia sẻ / nhà giữa họ, với hiệu suất tốt. Có 300 người dùng trên máy chủ, khoảng 30 người trong số họ sẽ có thể có các quy trình hoạt động trên một máy chủ nhất định tại một thời điểm nhất định, mỗi lần đọc 50 kbit và 20 kbit ghi / giây, với các đỉnh ngắn khoảng 2000 kbit / s đọc. các biện pháp với iotop trên lưu trữ cục bộ. Tôi có rất nhiều tệp nhỏ, tổng cộng khoảng 500000 và cần độ trễ càng thấp càng tốt. Ping giữa các máy chủ là 17 ms và kết nối có thể đạt khoảng 20-30 MB / s khi sử dụng scp và wget. Có vẻ như có rất nhiều băng thông có sẵn cho nó quá hoạt động, nhưng ...

Những gì tôi đã thử nghiệm cho đến nay: sshfs: Có vẻ như nó có hiệu suất tốt hơn nfs, nhưng nó đã thay đổi đáng kể các quyền của tệp thành root, khiến ứng dụng bị sập.

nfs: Cách để làm chậm, đã cố gắng thực hiện một loạt các tùy chọn khác, nhưng nó vẫn hoạt động chậm chạp, ngay cả khi chỉ có một vài quy trình được kích hoạt.

drbd: 5 giờ làm việc cuối cùng, khi tôi nhận ra rằng tôi thực sự không thể gắn hệ thống tập tin trên cả hai hệ thống :-(

glusterfs: Có một bản sao cục bộ của tất cả các dữ liệu nghe có vẻ đầy hứa hẹn, nhưng truy cập tệp ngẫu nhiên rất chậm và sau khi chạy một lúc, nó trở nên chậm không thể tin được và gần như bị treo. noatime không giúp đỡ.

nfs nữa: Vẫn uể oải.

Khóc vào bàn phím: Không cải thiện chút nào.

Thử làm gì tiếp theo? Mỗi thử nghiệm thất bại đã diễn ra vào một buổi tối hoặc có thể nhiều hơn trong tuần trước và tôi thực sự muốn phương pháp tiếp theo có hiệu quả. Và vâng, điều quan trọng là các hệ thống tập tin được chia sẻ giữa cả hai máy chủ.

Cảm ơn cho bất kỳ ý tưởng mới về vấn đề này.


6
"Khóc vào bàn phím: Không cải thiện chút nào." OK, điều đó nhận được +1 từ tôi.
ceejayoz

Bạn có thể muốn hoặc là glusterfs, hoặc ceph. Một hệ thống tập tin phân tán. Ngoài ra, bạn có thể gắn drbd nhiều lần, nhưng chỉ một lần đọc và viết, dù sao đó cũng là một ý tưởng tồi tệ đáng sợ.
Sirex

Tôi đã thử glusterfs, và trong khi nó hoạt động tuyệt vời với các tệp lớn, nó trở nên rất chậm khi đọc hoặc ghi các tệp nhỏ. Nó dường như là một vấn đề phổ biến với glusterfs, và tôi chưa thể tìm ra cách khắc phục. Tôi sẽ xem xét Ceph. Bạn đã thử nó bạn đã thử nó?
dùng3850506

3
Gắn cùng một thiết bị khối & hệ thống tệp, thậm chí RO trên một hệ thống khác là juju xấu trừ khi trình điều khiển hệ thống tệp hiểu thiết bị khối sao lưu có thể thay đổi tùy ý bất cứ lúc nào. Thiết bị chặn có thể thay đổi và vô hiệu hóa hoàn toàn bộ đệm inode và VFS sẽ vui vẻ đọc dữ liệu không còn như bạn nghĩ. Các hệ thống tệp nhận biết đĩa chia sẻ như GFS2 và veritas có thể làm điều đó trên DRBD hoặc bất kỳ đĩa nào giống SAN. Tôi không thể nói chắc chắn hiệu suất tập tin nhỏ của bạn sẽ được chấp nhận mặc dù.
Andrew Domaszek

Câu trả lời:


2

Có một số giải pháp khả thi cho việc này:

  1. Bạn có thể sử dụng bộ lưu trữ khối được sao chép như DRBD (hoặc MARS như đã đề cập ở trên), nhưng bạn cần thiết lập một hệ thống tệp cụm trên đầu bộ lưu trữ khối. Các hệ thống tệp như vậy có thể là GFS2 hoặc OCFS2, cả hai đều có sẵn trong hạt nhân Debian afaik. DRBD có thể xử lý chính / chính và bạn có thể gắn kết nó trên cả hai máy chủ cùng một lúc. Nhưng nếu bạn làm điều này với một hệ thống tệp tiêu chuẩn, một máy chủ sẽ không biết về máy chủ kia và bạn sẽ phá hủy hệ thống tệp của mình sau vài giây. Một hệ thống tệp cụm trên đầu sẽ xử lý giao tiếp và khóa để cả hai nút có thể ghi vào cùng một khối.

  2. Sử dụng một hệ thống tập tin phân tán cho / nhà. Bạn sẽ tìm thấy một danh sách các hệ thống tệp như vậy tại http://en.wikipedia.org/wiki/Comparison_of_distribution_file_systems . Nhưng hãy cẩn thận và chọn một cách khôn ngoan. Tất cả họ đều không thể làm phép thuật và tất cả đều có nhược điểm. Gluster là một hệ thống tập tin như vậy. Đối với một số hệ thống, bạn có thể cần nhiều hơn chỉ hai nút.

  3. Nếu nó không phải được sao chép trong thời gian thực và đồng bộ hóa tệp gần như thời gian thực là đủ, thì hãy xem BitTorrent Sync ( http://www.getsync.com/ ), Dropbox hoặc các lựa chọn thay thế. Mỗi máy chủ có riêng / nhà riêng, nhưng các thay đổi sẽ được sao chép trên cơ sở tệp sang máy chủ khác.


1
rsync ftw 123456
dmourati
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.