Lựa chọn hệ thống tập tin tốt nhất cho NFS lưu trữ hình ảnh đĩa VMware

Hiện tại chúng tôi sử dụng iSCSI SAN làm bộ lưu trữ cho một số máy chủ VMware ESXi. Tôi đang điều tra việc sử dụng mục tiêu NFS trên máy chủ Linux cho các máy ảo bổ sung. Tôi cũng sẵn sàng cho ý tưởng sử dụng một hệ điều hành thay thế (như OpenSolaris) nếu nó sẽ cung cấp những lợi thế đáng kể.

Hệ thống tệp dựa trên Linux nào ưa thích các tệp liền kề rất lớn (như ảnh đĩa của VMware)? Ngoài ra, làm thế nào mọi người tìm thấy ZFS trên OpenSolaris cho loại khối lượng công việc này?

(Câu hỏi này ban đầu được hỏi trên SuperUser ; vui lòng di chuyển câu trả lời tại đây nếu bạn biết cách).

Tôi thực sự khuyên bạn nên xem ZFS, nhưng để có hiệu suất tốt, bạn sẽ cần chọn một thiết bị chuyên dụng làm Nhật ký ý định ZFS (ZIL). Về cơ bản, đây là một thiết bị nhỏ (vài GB) có thể ghi cực nhanh (20-100K IOPS) cho phép ZFS ngay lập tức xác nhận rằng ghi đã được đồng bộ hóa với bộ lưu trữ, nhưng phải đợi đến 30 giây mới thực sự ghi vào ổ cứng hồ bơi của bạn. Trong trường hợp xảy ra sự cố / ngừng hoạt động, mọi giao dịch không được cam kết trong ZIL sẽ được phát lại khi gắn kết. Kết quả là, ngoài một UPS, bạn có thể muốn một ổ đĩa có nguồn cung cấp điện / siêu tụ điện bên trong để mọi IO đang chờ xử lý sẽ lưu trữ vĩnh viễn trong trường hợp mất điện. Nếu bạn chọn sử dụng thiết bị ZIL chuyên dụng, ghi có thể có độ trễ cao dẫn đến tất cả các loại vấn đề. Giả sử bạn không quan tâm đến Sun '

• DDRDrive X1 - 4GB DDR2 + 4GB SLC Flash trong thẻ PCIe x1 được thiết kế rõ ràng để sử dụng ZIL. Viết vào RAM; trong trường hợp mất điện, nó sẽ đồng bộ RAM với NAND trong <60 giây được cung cấp bởi một siêu tụ điện. (50 nghìn-300 nghìn IOPS; $ 2000 trực tiếp, $ 1500 cho .edu)
• Intel X25-E 32GB SSD 2,5 inch (SLC, nhưng không có nắp siêu, IOPS 3300 ghi); [$ 390 @ Amazon] [11]
• OCZ Vertex 2 Pro 40GB SSD 2,5 inch (siêu tụ, nhưng MLC, IOPS 20k-50k viết); $ 435 @ Amazon .

Khi bạn đã thiết lập OpenSolaris / Nexenta + ZFS, có khá nhiều cách để di chuyển các khối giữa boxen OpenSolaris và ESX của bạn; Những gì phù hợp với bạn phụ thuộc rất nhiều vào cơ sở hạ tầng hiện tại của bạn (công tắc L3, thẻ Fiber) và các ưu tiên của bạn (dự phòng, độ trễ, tốc độ, chi phí). Nhưng vì bạn không cần giấy phép chuyên dụng để mở khóa chức năng iSCSI / FC / NFS, bạn có thể đánh giá mọi thứ bạn có phần cứng và chọn mục ưa thích:

• Mục tiêu iSCSI (CPU trên cao; không hỗ trợ TOE trong OpenSolaris)
• Mục tiêu kênh sợi quang (Thẻ sợi quang không rẻ)
• NFS (VMWare + NFS có thể rất khó, giới hạn ở 32 lần gắn kết)

Nếu bạn không thể chi 500 đô la để đánh giá, hãy kiểm tra có và không có ZIL bị vô hiệu hóa để xem ZIL có phải là nút cổ chai không. (Có lẽ là vậy). Đừng làm điều này trong sản xuất . Đừng lộn xộn với sự trùng lặp ZFS trừ khi bạn cũng có nhiều ram và SSD cho L2ARC. Thật tuyệt khi bạn cài đặt xong, nhưng bạn chắc chắn sẽ thử thực hiện một số Điều chỉnh NFS trước khi chơi với phần thưởng. Khi bạn nhận được nó bão hòa liên kết 1-2 Gb, sẽ có cơ hội phát triển trong 8gb FC, 10gigE và infiniband, nhưng mỗi liên kết cần một khoản đầu tư đáng kể ngay cả để đánh giá.

Tôi sẽ không làm chính xác điều này. Theo kinh nghiệm của tôi, Linux (cụ thể là CentOS 3/4/5) là một lựa chọn kém cho máy chủ NFS. Tôi đã có một vài và nhận thấy rằng dưới tải, độ trễ và thông lượng có xu hướng giảm vì những lý do chúng ta không bao giờ có thể hoàn toàn hiểu được.

Trong các trường hợp của chúng tôi, chúng tôi đã so sánh hiệu năng của Linux back-to-back với Solaris (trên Ultra-SPARC) và NetApp; cả hai đều trả về kết quả về hiệu suất của táo và về mặt mơ hồ của "các kỹ sư không phàn nàn gần như nhiều về độ trễ khi máy chủ đang tải". Có nhiều nỗ lực để điều chỉnh máy chủ Linux NFS; cả hệ thống NetApps và Solaris đều hoạt động bình thường. Và vì cả hai hệ thống Solaris và NetApp có liên quan đều cũ hơn, nên các máy chủ Linux có thể được cho là có mọi lợi thế và vẫn không thể thuyết phục.

Nếu bạn có thời gian, sẽ rất đáng để thử nghiệm để thiết lập phần cứng tương tự với OpenSolaris (hiện tại Solaris quá đắt để sử dụng), Linux, và có lẽ là một hoặc hai biến thể BSD và chạy đua với chúng. Nếu bạn có thể đưa ra một số số liệu về hiệu suất (ví dụ số lượng I / O của đĩa trong máy ảo được lưu trữ ngoài cửa hàng), thì nó có thể tạo ra một bài báo trắng hoặc bài báo thú vị trên internet. (Nếu bạn có thời gian.)

Về NFS nói chung, mọi người trên NetApp đã nói với tôi nhiều lần rằng các điểm chuẩn của họ cho thấy NFS chỉ có chi phí từ 5 đến 10% cho các máy ảo - và nếu ứng dụng của bạn đủ nhạy cảm thì đây là vấn đề, bạn không nên ảo hóa nó ở nơi đầu tiên

Nhưng tôi nên thú nhận rằng sau tất cả thời gian và nước mắt, các cửa hàng VM sản xuất không phải địa phương của chúng tôi đều được iSCSI cung cấp, chủ yếu là từ NetApp.

Chúng tôi đang sử dụng OpenSolaris 2009/06 với cấu hình RAID 10 ZFS để cung cấp NFS cho máy chủ VMWare ESXi của chúng tôi. Nó hoạt động khá tốt cho nhu cầu của chúng tôi cho đến nay. Chúng tôi đang sử dụng ổ đĩa loại SATA Raid (ổ đĩa Seagate ES.2 1TB). Chúng tôi vẫn có một số điều chỉnh để làm tuy nhiên.

Tôi là một fan hâm mộ lớn của kho dữ liệu NFS cho VMware, NetApp có một triển khai tuyệt vời.

TR-3808 so sánh tỷ lệ của các kho dữ liệu chia sẻ kết nối NetApp FC, iSCSI và NFS, đây là một cách đọc tuyệt vời.

Bạn có thể muốn xem xét lỗi hơn 3 năm với ZFS ARC vẫn tồn tại trước khi nhảy quá sâu với ZFS ...

http://bugs.opensolaris.org/orpdatabase/view_orms.do?orms_id=6522017

(Điều này thật khó chịu vì nó cũng sẽ vượt ra khỏi giới hạn VM của một trình ảo hóa!)