Tối đa hóa hiệu suất và thông lượng rsync - máy chủ gigabit được kết nối trực tiếp

Tôi có hai máy chủ Dell R515 chạy CentOS 6.5, với một trong các máy chủ phổ biến được gắn trực tiếp với nhau. Tôi sử dụng liên kết trực tiếp để đẩy các bản sao lưu từ máy chủ chính trong cặp sang phụ mỗi đêm bằng cách sử dụng rsync trên ssh. Theo dõi lưu lượng, tôi thấy thông lượng ~ 2MBps, ít hơn nhiều so với tôi mong đợi từ một cổng gigabit. Tôi đã đặt MTU thành 9000 ở cả hai bên, nhưng dường như điều đó không thay đổi gì cả.

Có một bộ cài đặt và tối ưu hóa được đề xuất nào sẽ đưa tôi đến thông lượng tối đa có sẵn không? Hơn nữa, vì tôi đang sử dụng rsync trên ssh (hoặc có khả năng chỉ là NFS) để sao chép hàng triệu tệp (~ 6Tb tệp nhỏ - kho thư Zimbra khổng lồ), các tối ưu hóa tôi đang tìm kiếm có thể cần cụ thể hơn cho trường hợp sử dụng cụ thể của tôi .

Tôi đang sử dụng ext4 ở cả hai bên, nếu vấn đề đó

Cảm ơn

EDIT: Tôi đã sử dụng các rsynctùy chọn sau với kết quả khá giống nhau:

rsync -rtvu --delete source_folder/ destination_folder/

rsync -avHK --delete --backup --backup-dir=$BACKUPDIR source_folder/ destination_folder/

Hiện tại, tôi đang xem xét cùng một mức hiệu suất kém khi sử dụng cpđể xuất NFS, trên cùng một liên kết cáp trực tiếp.

EDIT2: sau khi hoàn tất đồng bộ hóa, tôi có thể chạy iperfvà thấy hiệu suất đạt khoảng 990Mbits / giây, sự chậm chạp là do bộ dữ liệu thực tế đang sử dụng.

Số lượng tập tin và chi phí mã hóa SSH có thể là rào cản lớn nhất. Bạn sẽ không thấy tốc độ dây khi chuyển khoản như thế này.

Các tùy chọn để cải thiện bao gồm:

• Sử dụng rsync + SSH với thuật toán mã hóa ít tốn kém hơn (ví dụ -e "ssh -c arcfour")
• Loại bỏ mã hóa hoàn toàn qua vận chuyển SSH bằng một cái gì đó như HPN-SSH .
• Chuyển khối dựa trên. Snapshots, dd, ZFS ảnh chụp gửi / nhận , vv
• Nếu đây là chuyển khoản một lần hoặc không thường xuyên, sử dụng tar, netcat ( nc), mbuffer hoặc một số kết hợp.
• Kiểm tra tuned-admcài đặt CentOS của bạn .
• Loại bỏ atime khỏi hệ thống tập tin gắn kết của bạn. Kiểm tra các tùy chọn gắn kết hệ thống tập tin khác.
• Gửi / nhận bộ đệm.
• Điều chỉnh rsynclệnh của bạn . Would -W, toàn bộ các tập tin tùy chọn có ý nghĩa ở đây? Là nén được kích hoạt?
• Tối ưu hóa hệ thống con lưu trữ của bạn cho loại chuyển (SSD, đếm trục chính, bộ đệm của bộ điều khiển RAID.)

Như bạn có thể biết sao chép rất nhiều tệp nhỏ (ví dụ: hộp thư sử dụng định dạng MailDir hoặc tương tự) chắc chắn không phải là lựa chọn tốt nhất để tận dụng các giao diện băng thông cao. SSH có lẽ không phải là giao thức vận chuyển tốt nhất cho điều đó. Tôi sẽ thử sử dụng tar để tạo tarball trên máy chủ nguồn trước khi gửi nó đến máy chủ thứ cấp.

tar c /var/mail | ssh root@secondary-host 'tar x -C /var/backups'

Nếu bạn cần sao lưu gia tăng, bạn có thể muốn thử các -gtùy chọn của tar. Nếu bạn vẫn cần tối đa hóa nhóm, hãy thử sử dụng netcat thay vì ssh.

Hãy thử trêu chọc các yếu tố góp phần:

• CPU (ví dụ: dd của / dev / zero được truyền qua loopback)
• đĩa I / O (ví dụ: dd của một tệp lớn được chuyển sang cat> / dev / null [đường ống để tránh đoản mạch])
• I / O mạng vật lý (ví dụ: dd được chuyển sang máy khác)
• v.v.

và thử nghiệm chúng một cách độc lập.

Tôi đã có một số trải nghiệm xấu với trình điều khiển Broadcom, vì vậy đề xuất đầu tiên của tôi là kiểm tra băng thông mạng có thể sử dụng với: dd if=/dev/zero bs=1m count=10k | rsh backup_host cat \> /dev/null