IPMI sideband chia sẻ cổng ethernet với máy chủ như thế nào?


23

Chúng tôi có một số máy Supermicro có tính năng IPMI / BMC. Một số máy này sử dụng BMC trên máy bay, trong khi những máy khác sử dụng thẻ bổ trợ .

Chúng tôi đang xem xét sử dụng sideband do giảm chi phí và yêu cầu cáp. Tuy nhiên, một số chi tiết bên lề không hoàn toàn có ý nghĩa.

Sideband yêu cầu một cáp ethernet được cắm vào cổng ethernet trên bo mạch chủ. Cổng mạng này sau đó được chia sẻ giữa hệ thống IPMI và hệ điều hành. Từ những gì tôi đọc được trong hướng dẫn sử dụng Supermicro này , "Sử dụng cùng một địa chỉ MAC bạn đang sử dụng cho LAN1 cho thẻ SIMSO IPMI". Tuy nhiên, IPMI phải có một địa chỉ IP khác sau đó là hệ điều hành.

Làm thế nào có thể có hai thiết bị (hệ điều hành và IPMI) có thể nghe và truyền trên cùng một cổng mạng vật lý này? Khi một gói đến giao diện, làm thế nào để hệ thống xác định xem gói này được dành cho Hệ điều hành hay cho hệ thống IPMI?

Các gói này có được xử lý bởi CPU không, sử dụng các ngắt CPU? Các gói đến giao diện IPMI có thể được xem bởi hệ điều hành không?

Câu trả lời:


39

Tôi quản lý rất nhiều máy chủ SuperMicro bằng IPMI trên bo mạch. Tôi có mối quan hệ yêu / ghét với ethernet được chia sẻ (hay còn gọi là sideband). Nói chung, cách thức hoạt động của những thứ này là LAN1 dường như có 2 địa chỉ MAC (khác nhau) - một địa chỉ dành cho giao diện IPMI, còn lại là Broadcom NIC tiêu chuẩn của bạn. Lưu lượng truy cập vào giao diện IPMI (lớp 2, dựa trên địa chỉ MAC) bị chặn một cách kỳ diệu dưới mức hệ điều hành và không bao giờ thấy bất kỳ hệ điều hành nào đang chạy.

Bạn đã đạt được một điểm tốt cho họ: ít đi cáp hơn. Bây giờ hãy để tôi đề cập đến một số nhược điểm:

  • Thật khó khăn khi phân vùng giao diện IPMI trên một mạng con riêng biệt một cách an toàn. Vì tất cả lưu lượng đều đi trên cùng một cáp, nên bạn (hầu như) luôn phải có giao diện IPMI và giao diện LAN1 trên cùng một mạng con IP. Trên các bo mạch chủ mới nhất, các thẻ IPMI hiện hỗ trợ gán Vlan cho IPMI NIC, do đó bạn có thể nhận được một số giá trị phân tách - nhưng HĐH cơ bản luôn có thể đánh hơi lưu lượng truy cập cho Vlan đó. Các bộ điều khiển BMC cũ hơn không cho phép thay đổi Vlan, mặc dù các công cụ như ipmitool hoặc ipmicfg sẽ cho phép bạn thay đổi nó, nhưng nó không hoạt động.
  • Bạn đang tập trung điểm thất bại của bạn trên hệ thống. Làm cấu hình trên một công tắc và quản lý để tự cắt đứt bằng cách nào đó? Xin chúc mừng, giờ đây bạn đã cắt kết nối mạng chính tới máy chủ của mình VÀ sao lưu qua IPMI. Phần cứng NIC bị lỗi? Xin chúc mừng, cùng một vấn đề.
  • Các BMC SuperMicro IPMI sớm nổi tiếng với việc thực hiện những điều hấp dẫn với giao diện mạng. Có nên sử dụng cổng IPMI trên bo mạch so với chuyên dụng hay không thường được xác định khi bật nguồn (không khởi động lại) và sẽ không chuyển từ đó. Nếu bạn bị mất điện và công tắc của bạn không cung cấp đủ năng lượng nhanh chóng, bạn có thể kết thúc với việc IPMI không hoạt động vì nó tự động phát hiện cài đặt sai.
  • Cá nhân tôi đã có rất nhiều vấn đề kết nối kỳ lạ, không thể giải thích được khiến IPMI bên lề hoạt động đáng tin cậy. Đôi khi tôi chỉ đơn giản là không thể ping IP giao diện trong vài phút. Đôi khi tôi nhận được một cơn bão các gói trên Vlan được chỉ định, nhưng tất cả lưu lượng truy cập dường như bị loại bỏ.

Mặc dù điều này không liên quan gì đến sideband so với chuyên dụng, tôi cũng lưu ý rằng các công cụ truy cập hệ thống máy chủ được viết rất kém. Thẻ IPMI cũ hơn không hỗ trợ bất cứ điều gì ngoài xác thực cục bộ, khiến cho việc quay vòng mật khẩu trở nên khó khăn. Nếu bạn đang sử dụng chức năng KVM-over-IP, bạn sẽ bị mắc kẹt khi sử dụng một applet Java đã hết hạn, đã hết hạn hoặc một ứng dụng Java kỳ lạ chỉ hoạt động trên Windows và yêu cầu độ cao UAC để chạy. Tôi đã tìm thấy mục nhập bàn phím là tốt nhất, đôi khi nhận được "phím bị kẹt" sao cho không thể nhập mật khẩu để đăng nhập mà không cần thử 10 lần.

Cuối cùng tôi đã quản lý để có hơn 40 hệ thống làm việc với sự sắp xếp này. Tôi đã có hầu hết các hệ thống mới hơn Tôi có thể Vlan các giao diện IPMI trên một mạng con riêng biệt và tôi chủ yếu sử dụng bảng điều khiển nối tiếp qua ipmitool hoạt động rất tốt. Đối với thế hệ máy chủ tiếp theo, tôi đang xem công nghệ AMT của Intel với sự hỗ trợ KVM ; vì điều này làm cho nó vào không gian máy chủ, tôi có thể thấy thay thế IPMI bằng cái này.


Cảm ơn bạn đã giải thích rất chi tiết. Bạn có thêm thông tin nào về cách lưu lượng truy cập 'bị chặn một cách kỳ diệu dưới mức hệ điều hành và không bao giờ thấy bất kỳ hệ điều hành nào đang chạy' không? Chúng tôi đang cố gắng hiểu làm thế nào nó hoạt động.
Stefan Lasiewski

Một cây cầu phần cứng đơn giản sẽ làm thủ thuật.
Antoine Benkemoun

câu trả lời tuyệt vời và vâng, giao thông được bắc cầu
Jim B

2
Stephan - Antoine và Jim đã giải thích nó trong các bình luận - đó có thể là một cây cầu phần cứng. Hãy nghĩ về nó giống như một công tắc nhỏ được triển khai bằng silicon, kết nối giao diện NIC vật lý với 2 NIC ảo - một cho IPMI, một cho máy tính chính.
natacado

Cảm ơn lời giải thích đó. Đó chính xác là cách tôi nghĩ nó sẽ hoạt động, nhưng khi tôi thảo luận điều này với những người khác (quản trị viên mạng, sysadins), tôi nhận được rất nhiều sự bất đồng.
Stefan Lasiewski

4

Trước đây tôi chưa sử dụng các thẻ cụ thể đó, những thẻ tôi đã sử dụng có MAC khác cho giao dịch IPMI hoặc cổng chỉ dành riêng cho lưu lượng IPMI. IPMI có thể chia sẻ NIC bao gồm cả MAC.

IPMI sẽ có một IP khác với HĐH, vì vậy các gói sẽ được định hướng chính xác dựa trên điều đó. Lưu lượng IPMI không bao giờ chạm vào CPU, tất cả được xử lý trong các IC quản lý dải bên.


Tôi hiểu rồi. Một số thẻ IPMI trên một số hệ thống sẽ "chia sẻ địa chỉ MAC" (Có vẻ như Supermicro & Dell làm điều này), trong khi những người khác sử dụng các địa chỉ MAC khác nhau (IBM thực hiện điều này).
Stefan Lasiewski

3
Trên các máy chủ Dell của tôi, giao diện IPMI có MAC khác mặc dù nó là cùng một cổng mạng vật lý.
tọa

2

Muốn thêm vào lời khuyên chung rằng sử dụng sideband có nghĩa là bạn không thể nói chuyện từ máy chủ đến BMC. Giao thông dường như được lọc ra. Tôi đã thử điều này trên bộ IBM / Dell / HP.


để giải thích về điều này, vì nó cũng đánh tôi là tốt. ESXI và không có máy ảo nào có thể truy cập BMC (nhưng máy chủ ext có thể), TẠI SAO? Bởi vì, lưu lượng truy cập đi ra ngoài trên cổng NSCI (chia sẻ IPMI), sẽ phải nhấn một công tắc và bật trở lại cùng một cổng. AFAIK chuyển đổi L2 điển hình không.
kevinf

1

Tôi sẽ sao lưu điểm đạn cuối cùng của natacados trong phản hồi ban đầu của anh ấy, các phiên IPMI của bạn sẽ hết thời gian chờ ngẫu nhiên (tôi sử dụng IPMIView từ siêu thị để xem bảng điều khiển trên hộp của tôi). Những thứ như nâng cấp firmware và xe máy dường như không thể giải thích được và ngẫu nhiên thất bại.

Câu trả lời tuyệt vời natacado, vô cùng kỹ lưỡng.


1
Đảm bảo chương trình cơ sở IPMI của bạn được cập nhật! Nếu có một sự ngắt kết nối đủ lớn giữa phiên bản phần mềm IPMI và phiên bản phần mềm IPMIView, bạn sẽ nhận được "lỗi kết nối" khó hiểu chung khi cố gắng bắt đầu phiên KVM! Cập nhật lên chương trình cơ sở IPMI mới nhất (điều này có thể được thực hiện từ menu chính của tiện ích IPMIView trong Tệp) đã sửa nó. : p
Jeff Atwood
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.