Lý lịch

Chúng tôi đã có một sự cố trong đó một cụm chuyển đổi dự phòng Windows bị gián đoạn. Một khám nghiệm tử thi cho thấy nút bị "loại bỏ" như được mô tả trong bài viết này .

Gần đây chúng tôi đã di chuyển cụm này hoàn toàn vào môi trường VMware của chúng tôi và có vẻ như sự kiện được mô tả ở trên có thể là nguyên nhân của sự cố ngừng hoạt động.

Bài báo VMware KB liên quan về điều này nói về việc tăng cài đặt Small Rx Buffersvà Rx Ring #1cài đặt, nhưng cảnh báo rằng việc tăng quá nhiều có thể làm tăng đáng kể chi phí bộ nhớ trên máy chủ.

Sau khi kiểm tra các Network Interface\Packets Received Discardedbộ đếm hiệu suất cho ~ 150 máy ảo Windows của chúng tôi, 22 vNIC trên 16 khách đã có một số gói bị loại bỏ.

Một số tiền đủ nhỏ mà tôi không lo lắng về việc đánh thuế các máy chủ có sử dụng bộ nhớ bổ sung, nhưng tôi muốn hiểu cách sử dụng bộ nhớ cho các cài đặt này và bộ nhớ đến từ đâu.

Câu hỏi

1. Mối quan hệ giữa số lượng bộ đệm và kích thước vòng là gì?
2. Làm thế nào để tính toán dung lượng bộ nhớ được sử dụng cho các giá trị đã cho của các cài đặt này?
3. Vì các cài đặt này nằm trên chính NIC trong hệ điều hành khách, tôi cho rằng chúng là cài đặt trình điều khiển. Điều này khiến tôi nghĩ rằng RAM được sử dụng có thể là phân trang hoặc không phân trang.
   1. Điều này có đúng không?
   2. Nếu vậy, tôi có nên lo lắng về điều đó?
4. Có những lo ngại tôi không tính đến ở đây?

Chúng tôi đang cố gắng xác định xem có một nhược điểm nào khi đặt các mức này ở mức tối đa của chúng trên các máy ảo bị ảnh hưởng hay không, ngoài việc sử dụng bộ nhớ máy chủ VMware. Ví dụ, nếu chúng ta tăng nguy cơ bộ nhớ nhóm bị cạn kiệt trong khách, chúng ta sẽ có xu hướng bắt đầu nhỏ hơn.

Một số (có lẽ là tất cả) những câu hỏi này có thể không cụ thể đối với VMware hoặc ảo hóa.

Mối quan hệ giữa số lượng bộ đệm và kích thước vòng là gì?

Chúng có liên quan, nhưng độc lập. "Ring" rx dùng để chỉ một bộ đệm trong bộ nhớ được sử dụng như một hàng đợi để truyền các gói mạng đến từ máy chủ (hypanneror) đến máy khách (Windows VM). Bộ nhớ được lưu trữ trong máy khách bởi trình điều khiển mạng và nó được ánh xạ vào bộ nhớ máy chủ.

Khi các gói mạng mới xuất hiện trên máy chủ, chúng sẽ được đặt vào bộ đệm có sẵn tiếp theo trong vòng. Sau đó, máy chủ kích hoạt IRQ trong máy khách mà tài xế khách phản hồi bằng cách lấy gói của anh ta ra khỏi vòng và gửi nó đến ngăn xếp mạng của HĐH khách, có lẽ sẽ gửi nó đến ứng dụng khách có ý định nhận nó. Giả sử các gói tin đến đủ chậm và trình điều khiển khách đang xử lý chúng đủ nhanh, phải luôn có một khe miễn phí trong vòng. Tuy nhiên, nếu các gói đến quá nhanh hoặc khách đang xử lý chúng quá chậm, vòng có thể bị đầy và các gói có thể bị hủy (như bạn đã thấy trong tình huống của mình).

Tăng kích thước vòng có thể giúp giảm thiểu vấn đề này. Nếu bạn tăng nó, nhiều khe sẽ có sẵn trong vòng một lần. Điều này phân biệt thành cài đặt thứ hai, "Bộ đệm Rx nhỏ", là tổng số lượng bộ đệm có sẵn có thể được sử dụng để lấp đầy các vị trí trong vòng. Cần phải có ít nhất nhiều bộ đệm như các khe trong vòng. Điển hình là bạn muốn nhiều hơn. Khi khách lấy bộ đệm ra khỏi vòng để đưa cho ngăn xếp mạng khách, có thể không phải lúc nào nó cũng được trả lại ngay cho tài xế. Nếu điều đó xảy ra, có bộ đệm dự phòng để lấp đầy vòng có nghĩa là bạn có thể đi lâu hơn mà không làm rơi gói tin.

Bộ đệm Rx # 1 / Bộ đệm Rx nhỏ được sử dụng cho các khung không phải là jumbo. Nếu bạn có cấu hình NIC mặc định, đó là vòng duy nhất sẽ được sử dụng.

Làm thế nào để tính toán dung lượng bộ nhớ được sử dụng cho các giá trị đã cho của các cài đặt này?

Giả sử bạn đang nói về các khung không phải jumbo, mỗi bộ đệm cần đủ lớn để lưu trữ toàn bộ gói mạng, khoảng 1,5kb. Vì vậy, nếu bạn có sẵn 8192 bộ đệm, thì sẽ sử dụng 12MB. Một vòng lớn hơn cũng sẽ sử dụng nhiều bộ nhớ hơn, nhưng các mô tả là nhỏ (byte), vì vậy nó thực sự là bộ đệm mà bạn phải lo lắng.

Vì các cài đặt này nằm trên chính NIC trong hệ điều hành khách, tôi cho rằng chúng là cài đặt trình điều khiển. Điều này khiến tôi nghĩ rằng RAM được sử dụng có thể là phân trang hoặc không phân trang.

Vâng, đó là một hồ bơi không phân trang. Nếu bộ đệm vòng được phân trang, nó có thể sẽ dẫn đến các gói bị rơi trong khi bộ đệm được phân trang lại.

Có những lo ngại tôi không tính đến ở đây?

Tôi không chắc điều này có liên quan đến tình huống của bạn, nhưng có thể đáng chú ý rằng một vòng lớn hơn sẽ làm tăng dấu chân bộ đệm của đường dẫn rx mạng. Trong microbenchmark, bạn sẽ thấy rằng một vòng lớn hơn thường làm tổn hại đến hiệu suất. Điều đó nói rằng, trong các ứng dụng thực tế, nếu một gói bị rơi, đó thường là một vấn đề lớn hơn so với mức tăng hiệu suất nhỏ trong các vụ nổ tốc độ.

Nguồn: Tôi đã làm việc tại VMware.

Tôi không có câu trả lời cho điểm 1-2-3 nhưng bạn có thể kiểm tra với trình điều khiển ảo của mình về cấu hình máy chủ Vmware. Nếu anh ấy là VCP, anh ấy sẽ hiểu thứ :)

Bạn thực sự phải kiểm tra máy chủ của mình vì các vấn đề về cửa sổ có thể là do máy chủ không có trong máy khách.

Có nhiều tính năng phần cứng có thể giải thích các vấn đề của bạn, directpath io, rss, vcpu, sơ đồ quản lý năng lượng ...

Tôi có thể cung cấp cho bạn một số liên kết giúp nhóm ảo của bạn hoặc bạn :)

Liên kết này là về điều chỉnh máy chủ http://buildvirtual.net/tuning-esxi-host-networking-configuration/

Và pdf chất béo này:

http://www.vmware.com/pdf/Perf_Best_Practices_vSphere5.0.pdf

Và cái này là về rss:

http://kb.vmware.com/'mservice/microsites/search.do?lingu=en_US&cmd=displayKC&externalId=2008925

Tôi không ở vị trí để tìm kiếm đầy đủ và chỉ cho bạn đến đúng trang: vì vậy tôi đang yêu cầu bạn tự tìm kiếm chi tiết ... (xin lỗi)

Trong Fail over Cluster, có 4 cài đặt có thể được chỉnh sửa; và chúng sẽ không ảnh hưởng đến bộ đệm hoặc phân trang hoặc không phân trang ... Nó thay đổi cách Fail over Cluster đưa ra quyết định xem xét một nút "bị loại bỏ". Các cài đặt này là:

SameSubnetDelay SameSubnetThrưỡng CrossSubnetDelay CrossSubnetThrưỡng

Họ có thể không giải quyết vấn đề của bạn, nhưng điều chỉnh chúng có thể giúp bạn thoát khỏi rắc rối vào lúc này ...

Khi trở lại vào thứ Hai, tôi sẽ kiểm tra lại bài đăng này nếu bạn có thêm câu hỏi

HTH, Edwin.