Trên các máy chủ DL8p gen8 sử dụng XFS trên LVM trên đỉnh đột kích 1 + 0 với 6 đĩa, khối lượng công việc giống hệt nhau dẫn đến việc tăng gấp 10 lần ghi đĩa trên RHEL 6 so với RHEL 5, khiến các ứng dụng không thể sử dụng được.

Lưu ý rằng tôi không nhìn vào việc tối ưu hóa hệ thống co6 càng nhiều càng tốt, nhưng để hiểu tại sao co6 lại hoạt động rất khác biệt và giải quyết điều đó.

vmstat / i điều hòa

Chúng tôi có một thiết lập sao chép MySQL, sử dụng mysql 5.5. Mysql nô lệ trên các máy chủ gen8 sử dụng RHEL 6 vì HĐH hoạt động kém, kiểm tra với vmstat và iuler cho thấy các máy chủ này thực hiện hoạt động gấp mười lần trang và gấp mười lần số lượng ghi vào hệ thống con đĩa. blktrace cho thấy rằng các bài viết này không được khởi tạo bởi mysql mà bởi kernel.

Trung tâm 5:

[dkaarsemaker@co5 ~]$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 3  0     12 252668 102684 10816864    0    0     8   124    0    0  9  1 90  0  0
 1  0     12 251580 102692 10817116    0    0    48  2495 3619 5268  6  1 93  0  0
 3  0     12 252168 102692 10817848    0    0    32  2103 4323 5956  6  1 94  0  0
 3  0     12 252260 102700 10818672    0    0   128  5212 5365 8142 10  1 89  0  0

[dkaarsemaker@co5 ~]$ iostat 1
Linux 2.6.18-308.el5 (bc290bprdb-01.lhr4.prod.booking.com)  02/28/2013

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           8.74    0.00    0.81    0.25    0.00   90.21

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      277.76       399.60      5952.53 2890574849 43058478233
cciss/c0d0p1      0.01         0.25         0.01    1802147      61862
cciss/c0d0p2      0.00         0.01         0.00     101334      32552
cciss/c0d0p3    277.75       399.34      5952.52 2888669185 43058383819
dm-0             32.50        15.00       256.41  108511602 1854809120
dm-1            270.24       322.97      5693.34 2336270565 41183532042

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           7.49    0.00    0.79    0.08    0.00   91.64

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      300.00        32.00      4026.00         32       4026
cciss/c0d0p1      0.00         0.00         0.00          0          0
cciss/c0d0p2      0.00         0.00         0.00          0          0
cciss/c0d0p3    300.00        32.00      4026.00         32       4026
dm-0              0.00         0.00         0.00          0          0
dm-1            300.00        32.00      4026.00         32       4026

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           4.25    0.00    0.46    0.21    0.00   95.09

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      507.00       160.00     10370.00        160      10370
cciss/c0d0p1      0.00         0.00         0.00          0          0
cciss/c0d0p2      0.00         0.00         0.00          0          0
cciss/c0d0p3    507.00       160.00     10370.00        160      10370
dm-0              0.00         0.00         0.00          0          0
dm-1            507.00       160.00     10370.00        160      10370

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           5.33    0.00    0.50    0.08    0.00   94.09

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      318.00        64.00      4559.00         64       4559
cciss/c0d0p1      0.00         0.00         0.00          0          0
cciss/c0d0p2      0.00         0.00         0.00          0          0
cciss/c0d0p3    319.00        64.00      4561.00         64       4561
dm-0              0.00         0.00         0.00          0          0
dm-1            319.00        64.00      4561.00         64       4561

Và trên Centos 6, số lần phân trang tăng gấp 10 lần và ghi đĩa:

[root@co6 ~]# vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 361044  52340 81965728    0    0    19  1804   36  110  1  1 98  0  0  
 0  0      0 358996  52340 81965808    0    0   272 57584 1211 3619  0  0 99  0  0  
 2  0      0 356176  52348 81966800    0    0   240 34128 2121 14017  1  0 98  0  0 
 0  1      0 351844  52364 81968848    0    0  1616 29128 3648 3985  1  1 97  1  0  
 0  0      0 353000  52364 81969296    0    0   480 44872 1441 3480  1  0 99  0  0  

[root@co6 ~]# iostat 1
Linux 2.6.32-279.22.1.el6.x86_64 (bc291bprdb-01.lhr4.prod.booking.com)  02/28/2013  _x86_64_    (32 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.08    0.00    0.67    0.27    0.00   97.98

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             373.48      1203.02    115203.05   11343270 1086250748
dm-0             63.63        74.92       493.63     706418    4654464
dm-1            356.48      1126.72    114709.47   10623848 1081596740

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.25    0.00    0.19    0.06    0.00   99.50

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             330.00        80.00     77976.00         80      77976
dm-0              0.00         0.00         0.00          0          0
dm-1            328.00        64.00     77456.00         64      77456

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.38    0.00    0.19    0.63    0.00   98.81

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             570.00      1664.00    128120.00       1664     128120
dm-0              0.00         0.00         0.00          0          0
dm-1            570.00      1664.00    128120.00       1664     128120

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.66    0.00    0.47    0.03    0.00   98.84

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             317.00       448.00     73048.00        448      73048
dm-0             34.00         0.00       272.00          0        272
dm-1            309.00       448.00     72776.00        448      72776

Thu hẹp

Máy chủ Gen 8 sử dụng máy chủ RHEL 5 và máy chủ gen 7 sử dụng RHEL 5 hoặc 6 không hiển thị vấn đề này. Hơn nữa, RHEL 6 với ext3 là hệ thống tập tin thay vì xfs mặc định của chúng tôi không hiển thị vấn đề. Vấn đề thực sự dường như nằm ở đâu đó giữa XFS, phần cứng gen8 và centos 6. RHEL 6 cũng cho thấy vấn đề.

Chỉnh sửa 29/04: chúng tôi đã thêm máy HBA của qlogic vào máy G8. Sử dụng XFS trên bộ lưu trữ kênh sợi quang không hiển thị vấn đề. Vì vậy, nó chắc chắn ở đâu đó trong sự tương tác giữa xfs / hpsa / p420i.

XFS

Các xfs mới hơn trong rrc 8 dường như có thể phát hiện chiều rộng sọc bên dưới, nhưng chỉ trên các bộ điều khiển p420i sử dụng trình điều khiển hpsa, không phải bộ điều khiển p410i sử dụng cciss.

đầu ra xfs_info:

[root@co6 ~]# xfs_info /mysql/bp/
meta-data=/dev/mapper/sysvm-mysqlVol isize=256    agcount=16, agsize=4915136 blks
         =                       sectsz=512   attr=2
data     =                       bsize=4096   blocks=78642176, imaxpct=25
         =                       sunit=64     swidth=192 blks
naming   =version 2              bsize=4096   ascii-ci=0
log      =internal               bsize=4096   blocks=38400, version=2
         =                       sectsz=512   sunit=64 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

sunit / swidth đều bằng 0 trong tất cả các thiết lập được đánh dấu là OK ở trên. Chúng tôi dường như không thể thay đổi điều này, trong mkfs hoặc với tùy chọn gắn kết noalign. Chúng tôi cũng không biết nếu đây là nguyên nhân.

Ôm

Những người khác gặp vấn đề về XFS trên rrc 6, nói rằng việc vô hiệu hóa các vòng đệm và đặc biệt là các vòng đệm trong suốt có thể có lợi. Chúng tôi vô hiệu hóa cả hai, vấn đề không biến mất.

Chúng tôi đã thử và quan sát nhiều thứ rồi, không có điều nào sau đây giúp được:

• Sử dụng numactl để ảnh hưởng đến việc phân bổ bộ nhớ. Chúng tôi nhận thấy rằng g7 và g8 có bố cục chữ số khác nhau, không thấy hiệu ứng
• Các hạt nhân mới hơn (mới như 3.6) dường như không giải quyết được điều này. Không sử dụng fedora 17.
• iuler không báo cáo sự gia tăng gấp mười lần trong các giao dịch ghi, chỉ bằng số byte được viết
• Sử dụng các lịch trình I / O khác nhau không có hiệu lực.
• Gắn kết hệ thống tập tin liên quan noatime / nobarrier / nopdiratime không giúp được gì
• Thay đổi / Proc / sys / vm / Dirt_ratio không có hiệu lực
• Điều này xảy ra cả trên các hệ thống dựa trên CPU 2640 và 2670
• hpsa-3.2.0 không khắc phục được sự cố

XFS và EL6 đã rơi vào trạng thái xấu xí ... Tôi đã từ bỏ XFS trên các hệ thống EL6 do một số tính năng / thay đổi ngược dòng trượt vào nhân Red Hat ...

Điều này là một bất ngờ và gây ra một số hoảng loạn: Tại sao các hệ thống tệp XFS của tôi đột nhiên tiêu tốn nhiều dung lượng hơn và đầy các tệp thưa thớt?

Kể từ tháng 11 năm 2012, phiên bản XFS vận chuyển bằng hạt nhân mới hơn 2.6.32-279.11.1.el6có vấn đề về tải và hiệu suất gây phiền nhiễu xuất phát từ Red Hat Bugzilla 860787 . Kể từ đó, tôi đã có hiệu suất không thể đoán trước và hàng đợi chạy cao hơn mức trung bình.

Đối với các hệ thống mới, tôi đang sử dụng ZFS hoặc chỉ ext4. Đối với các hệ thống cũ hơn, tôi đang đóng băng chúng tại 2.6.32-279.11.1.el6.

Hãy thử quay lại phiên bản đó với:

yum install kernel-2.6.32-279.11.1.el6.x86_64

Ngoài các cách trên, do loại bộ điều khiển RAID bạn đang sử dụng, các tối ưu hóa điển hình theo thứ tự:

Gắn kết hệ thống tập tin XFS của bạn noatime. Bạn cũng nên tận dụng khung điều chỉnh với:

tuned-adm profile enterprise-storage

để đặt readahead, nobarrier và thang máy I / O thành một đường cơ sở tốt.

Biên tập:

Có rất nhiều khuyến nghị xung quanh tối ưu hóa hệ thống tập tin XFS. Tôi đã sử dụng hệ thống tập tin riêng trong thập kỷ qua và đôi khi phải điều chỉnh các tham số khi xảy ra thay đổi cơ bản cho hệ điều hành. Tôi chưa trải nghiệm việc giảm hiệu suất đáng kể như của bạn, nhưng tôi cũng không sử dụng LVM.

Tôi nghĩ thật không hợp lý khi mong đợi EL5 hoạt động giống như EL6 , được tạo ra các thế hệ hạt nhân khác nhau, mặc định được biên dịch, lên lịch, gói, v.v.

Sẽ những gì tôi làm vào thời điểm này ??

• Tôi sẽ kiểm tra các tham số mkfs.xfs và cách bạn xây dựng các hệ thống. Bạn đang sử dụng phân vùng XFS trong khi cài đặt hoặc tạo các phân vùng sau khi thực tế? Tôi thực hiện việc tạo hệ thống tập tin XFS sau khi cài đặt hệ điều hành chính vì tôi linh hoạt hơn trong các tham số đã cho.

• Các tham số tạo mkfs.xfs của tôi rất đơn giản: mkfs.xfs -f -d agcount=32 -l size=128m,version=2 /dev/sdb1ví dụ.

• Các tùy chọn gắn kết của tôi là: noatime,logbufs=8,logbsize=256k,nobarrierTôi sẽ cho phép phân vùng động XFS chạy tự nhiên và không ràng buộc nó như bạn có ở đây. Hiệu suất của tôi được cải thiện với nó.

• Vì vậy, tôi không sử dụng LVM . Đặc biệt là trên RAID phần cứng ... Đặc biệt là trên bộ điều khiển HP Smart Array, nơi có một số chức năng giống như LVM có trong thiết bị. Tuy nhiên, sử dụng LVM, bạn không có quyền truy cập để fdisktạo phân vùng thô. Một điều đã thay đổi từ EL5 thành EL6 là căn chỉnh phân vùng trong trình cài đặt và thay đổi thành fdisk để đặt cung bắt đầu trên ranh giới hình trụ.

• Đảm bảo bạn đang chạy bộ điều khiển và ổ đĩa HP Smart Array ở cấp sửa đổi hiện tại. Tại thời điểm đó, việc cập nhật toàn bộ máy chủ lên Gói dịch vụ HP hiện tại để sửa đổi phần sụn ProLiant là điều hợp lý . Đây là DVD có khả năng khởi động sẽ nâng cấp tất cả các thành phần được phát hiện trong hệ thống.

• Tôi sẽ kiểm tra cài đặt bộ điều khiển RAID. Pastebin đầu ra của hpacucli ctrl all show config detail. Đây là của tôi. Bạn muốn tỷ lệ bộ đệm thiên về ghi so với đọc. 75:25 là chỉ tiêu. Kích thước dải mặc định là 256K sẽ ổn cho ứng dụng này.

• Tôi có khả năng sẽ thử điều này mà không cần LVM.

• sysctl.confThông số của bạn là gì?

Chúng tôi đã có vấn đề tương tự, và phát hiện ra đó là do thay đổi phiên bản nhật ký XFS. Nhật ký phiên bản 2 tôn vinh bộ chiều rộng sọc được sử dụng với mkfs.xfs. Nếu bạn thực hiện nhiều fsync, thẻ đột kích của bạn không thể giả mạo những bản ghi đó ghi nữa. Bạn có thể kiểm tra nó bằng cách định dạng phân vùng mà không có bất kỳ cài đặt swidth nào (nó không tạo ra bất kỳ sự khác biệt nào với RAID 1 + 0). Bạn có thể xác minh rằng với blktrace / seekwatcher để xem nó có liên quan đến nhiều cập nhật nhật ký hay không.