Tôi đã thiết lập một cặp máy chủ giống hệt nhau với mảng RAID (8 lõi, RAM 16 GB, RAID6 12x2 TB), 3 giao diện 10GigE, để lưu trữ một số dịch vụ khả dụng cao.
Các hệ thống hiện đang chạy Debian 7.9 Wheezy cũ ổn định (vì corosync / máy tạo nhịp tim không khả dụng trên 8.x ổn định cũng như không thử nghiệm).
- Hiệu suất đĩa cục bộ là khoảng 900 MB / s ghi, 1600 MB / s đọc.
- thông lượng mạng giữa các máy là hơn 700MB / s.
- thông qua iSCSI, mỗi máy có thể ghi vào bộ lưu trữ của máy khác với tốc độ hơn 700 MB / s.
Tuy nhiên, bất kể cách tôi định cấu hình DRBD, thông lượng được giới hạn ở 100MB / s. Nó thực sự trông giống như một số giới hạn mã hóa cứng. Tôi có thể giảm hiệu suất một cách đáng tin cậy bằng cách điều chỉnh các cài đặt, nhưng nó không bao giờ vượt quá 1Gbit (đạt tới 122 MB / giây trong một vài giây mỗi lần). Tôi thực sự kéo tóc của tôi trên này.
- hạt nhân vani đồng bằng 3.18.24 amd64
- drbd 8,9.2 ~ RC1-1 ~ bpo70 + 1
Cấu hình được chia thành hai tệp global-common.conf::
global {
usage-count no;
}
common {
handlers {
}
startup {
}
disk {
on-io-error detach;
# no-disk-flushes ;
}
net {
max-epoch-size 8192;
max-buffers 8192;
sndbuf-size 2097152;
}
syncer {
rate 4194304k;
al-extents 6433;
}
}
và cluster.res:
resource rd0 {
protocol C;
on cl1 {
device /dev/drbd0;
disk /dev/sda4;
address 192.168.42.1:7788;
meta-disk internal;
}
on cl2 {
device /dev/drbd0;
disk /dev/sda4;
address 192.168.42.2:7788;
meta-disk internal;
}
}
Đầu ra từ cat /proc/drbdtrên nô lệ:
version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE
0: cs:SyncTarget ro:Secondary/Secondary ds:Inconsistent/UpToDate C r-----
ns:0 nr:4462592 dw:4462592 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:16489499884
[>....................] sync'ed: 0.1% (16103024/16107384)M
finish: 49:20:03 speed: 92,828 (92,968) want: 102,400 K/sec
Đầu ra từ vmstat 2chủ (cả hai máy gần như hoàn toàn không hoạt động):
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 0 14952768 108712 446108 0 0 213 254 16 9 0 0 100 0
0 0 0 14952484 108712 446136 0 0 0 4 10063 1361 0 0 99 0
0 0 0 14952608 108712 446136 0 0 0 4 10057 1356 0 0 99 0
0 0 0 14952608 108720 446128 0 0 0 10 10063 1352 0 1 99 0
0 0 0 14951616 108720 446136 0 0 0 6 10175 1417 0 1 99 0
0 0 0 14951748 108720 446136 0 0 0 4 10172 1426 0 1 99 0
Đầu ra từ iperfgiữa hai máy chủ:
------------------------------------------------------------
Client connecting to cl2, TCP port 5001
TCP window size: 325 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.42.1 port 47900 connected with 192.168.42.2 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 6.87 GBytes 5.90 Gbits/sec
Rõ ràng đồng bộ hóa ban đầu được cho là hơi chậm, nhưng không chậm như vậy ... Hơn nữa, nó không thực sự phản ứng với bất kỳ nỗ lực nào để điều chỉnh tốc độ đồng bộ hóa như thế nào drbdadm disk-options --resync-rate=800M all.