Một cái gì đó đang cháy trong phòng máy chủ; Làm thế nào tôi có thể nhanh chóng xác định nó là gì?

Hôm nọ, chúng tôi nhận thấy một mùi cháy kinh khủng bốc ra từ phòng máy chủ. Tóm lại, nó đã trở thành một trong những mô-đun pin đang cháy trong bộ phận UPS, nhưng phải mất một vài giờ trước khi chúng tôi có thể tìm ra nó. Lý do chính chúng tôi có thể tìm ra là vì màn hình của UPS cuối cùng đã cho thấy rằng mô-đun cần phải được thay thế.

Đây là vấn đề: toàn bộ căn phòng tràn ngập mùi. Làm một bài kiểm tra đánh hơi là rất khó khăn vì mùi đã ngấm vào mọi thứ (chưa kể nó làm chúng tôi nhẹ đầu). Chúng tôi gần như đã lấy nhầm máy chủ cơ sở dữ liệu sản xuất của mình vì đó là nơi có mùi mạnh nhất. Sức sống có vẻ ổn (nhiệt độ CPU cho thấy 60 độ C và tốc độ quạt ổn), nhưng chúng tôi không chắc chắn. Nó đã xảy ra như vậy rằng mô-đun pin bị cháy có chiều cao tương đương với máy chủ trên giá và chỉ cách 3 ft. Nếu đây là một trường hợp khẩn cấp thực sự, chúng ta sẽ thất bại thảm hại.

Trên thực tế, khả năng phần cứng máy chủ thực tế đang bùng cháy là một điều khá hiếm khi xảy ra và hầu hết thời gian chúng ta sẽ nhìn vào thủ phạm của UPS. Nhưng với một vài giá đỡ với nhiều thiết bị, nó có thể nhanh chóng trở thành một trò chơi đoán. Làm thế nào để một người nhanh chóng và xác định chính xác phần thiết bị nào đang thực sự cháy lên? Tôi nhận ra câu hỏi này phụ thuộc nhiều vào các biến môi trường như kích thước phòng, thông gió, vị trí, v.v., nhưng bất kỳ đầu vào nào cũng sẽ được đánh giá cao.

Sự đồng thuận chung dường như là câu trả lời cho câu hỏi của bạn có hai phần:

Làm thế nào để chúng ta tìm thấy nguồn gốc của mùi cháy vui?

Bạn đã có "Làm thế nào" khá tốt đóng đinh:

• "Thử nghiệm đánh hơi"
• Tìm khói / khói mù
• Đi bộ trong phòng với một máy ảnh nhiệt (IR) để tìm các điểm nóng
• Kiểm tra bảng giám sát và thiết bị để cảnh báo

Bạn có thể cải thiện cơ hội tìm kiếm vấn đề nhanh chóng bằng nhiều cách - giám sát được cải thiện thường là dễ nhất. Một số câu hỏi để hỏi:

• Bạn có nhận được nhiệt độ và cảnh báo sức khỏe khác từ thiết bị của bạn?
• Các hệ thống UPS của bạn có báo cáo lỗi cho hệ thống giám sát của bạn không?
• Bạn có nhận được báo động hiện tại từ thiết bị phân phối điện của bạn?
• Các máy dò khói phòng có báo cáo với hệ thống giám sát không? (và họ có thể? )

Khi nào chúng ta nên khắc phục sự cố so với nhấn Big Red Switch?

Đây là một câu hỏi thú vị hơn.
Đánh vào công tắc lớn màu đỏ có thể khiến công ty của bạn mất một khoản tiền rất lớn: Việc phát hành đại lý sạch có thể lên tới hàng chục ngàn đô la và chi phí ngừng hoạt động / phục hồi sau khi tắt điện khẩn cấp (EPO, "bỏ phòng" ) có thể bị tàn phá.
Bạn không muốn bỏ một trung tâm dữ liệu vì một tụ điện trong nguồn điện bật ra và làm cho căn phòng có mùi.

Ngược lại, hỏa hoạn trong phòng máy chủ có thể khiến công ty bạn mất dữ liệu / thiết bị và quan trọng hơn là tính mạng của nhân viên.
Khắc phục sự cố "mùi cháy khét" đó không bao giờ được ưu tiên hơn về an toàn , do đó, điều quan trọng là phải có một số quy tắc rõ ràng về cách khắc phục các điều kiện "trước khi cháy".

Các nguyên tắc tuân theo các giới hạn cá nhân của tôi mà tôi áp dụng khi không có (hoặc ngoài) bất kỳ quy trình / quy tắc được xác định rõ ràng nào khác - chúng đã phục vụ tôi tốt và chúng có thể giúp bạn, nhưng chúng có thể dễ dàng khiến tôi bị giết hoặc sa thải vào ngày mai, vì vậy áp dụng chúng có nguy cơ của riêng bạn.

1. Nếu bạn thấy khói hoặc lửa, hãy thả phòng
   Điều này không cần phải nói nhưng dù sao đi nữa: Nếu có đám cháy đang hoạt động (hoặc khói chỉ ra rằng sẽ sớm có) bạn hãy sơ tán khỏi phòng, cắt điện và xả lửa hệ thống đàn áp.
   Các ngoại lệ có thể tồn tại (thực hiện một số ý nghĩa thông thường), nhưng điều này gần như luôn luôn là hành động chính xác.

2. Nếu bạn đang tiến hành khắc phục sự cố, luôn có ít nhất một người khác tham gia
   Điều này vì hai lý do. Đầu tiên, bạn không muốn đi lang thang trong trung tâm dữ liệu và bất ngờ có một giá đỡ đi lên trong hàng bạn đang đi xuống và không ai biết bạn đang ở đó. Thứ hai, người khác là kiểm tra sự tỉnh táo của bạn trong việc khắc phục sự cố so với việc bỏ phòng và nếu bạn thực hiện cuộc gọi để chuyển sang Big Red Switch, bạn có lợi ích khi có người thứ hai đồng ý với quyết định (giúp tránh các khía cạnh hạn chế nghề nghiệp của một quyết định như vậy nếu ai đó đặt câu hỏi sau).

3. Thực hiện các biện pháp an toàn thận trọng trong khi xử lý sự cố
   Hãy chắc chắn rằng bạn luôn có một lối thoát (một đầu mở của một hàng và một đường dẫn rõ ràng đến một lối thoát).
   Giữ ai đó đóng quân tại phiên bản dập tắt EPO / chữa cháy.
   Mang theo bình chữa cháy bên mình (Halon hoặc chất tẩy rửa khác).
   Hãy nhớ quy tắc số 1 ở trên.
   Khi nghi ngờ, hãy rời khỏi phòng . Chăm sóc về hơi thở của bạn: sử dụng mặt nạ phòng độc hoặc mặt nạ dưỡng khí. Điều này có thể cứu sức khỏe của bạn trong trường hợp hỏa hoạn hóa học.

4. Đặt giới hạn và bám sát
   chính xác hơn, đặt hai giới hạn:

   • Điều kiện ("Tôi sẽ để điều này tệ hơn bao nhiêu?") Và
   • Thời gian ("Tôi sẽ tiếp tục cố gắng tìm ra vấn đề trong bao lâu trước khi nó quá rủi ro?").

   Các giới hạn bạn thiết lập cũng có thể được sử dụng để cho nhóm của bạn bắt đầu một trật tự tắt máy của các khu vực bị ảnh hưởng, vì vậy khi bạn DO kéo điện bạn không đâm một loạt các máy móc hoạt động, và thời gian phục hồi của bạn sẽ ngắn hơn nhiều, nhưng hãy nhớ rằng nếu việc tắt máy có trật tự mất quá nhiều thời gian, bạn có thể phải để một vài hệ thống gặp sự cố về an toàn.

5. Tin vào ruột của bạn
   Nếu bạn lo lắng về sự an toàn bất cứ lúc nào, hãy gọi điện thoại khắc phục sự cố và xóa phòng.
   Bạn có thể hoặc không thể bỏ phòng dựa trên cảm giác ruột, nhưng tập trung bên ngoài phòng trong sự an toàn (tương đối) là thận trọng.

Nếu không có nguy hiểm sắp xảy ra, bạn có thể chọn mang đến sở cứu hỏa địa phương trước khi thực hiện bất kỳ hành động quyết liệt nào như phát hành EPO hoặc đại lý sạch. (Dù sao họ cũng có thể bảo bạn làm như vậy: Nhiệm vụ của họ là bảo vệ mọi người, sau đó là tài sản, nhưng rõ ràng họ là chuyên gia trong việc xử lý đám cháy nên bạn nên làm theo những gì họ nói!)

Chúng tôi đã giải quyết vấn đề này trong các bình luận, nhưng nó cũng có thể được tóm tắt trong một câu trả lời - @DeerHunter, @Chris, @Sirex, và nhiều người khác đã đóng góp cho cuộc thảo luận

Camera chụp ảnh nhiệt có thể thực hiện công việc và cho phép bạn xác định nơi quá nóng. Một thiết bị như thế này sẽ cho phép bạn xác định nguồn gốc của một đám cháy hoặc đốt trong một căn phòng đầy khói.

Bạn không làm những điều này đã được nói. Bạn rời khỏi môi trường nguy hiểm vì bất cứ thứ gì được bơm qua toàn bộ căn phòng đều nguy hiểm cho sức khỏe của bạn và có thể thực sự làm rối loạn phổi của bạn. Nếu có mùi khét của thứ gì đó đang cháy trong phòng mà bạn không thể tìm thấy, hãy gọi (911 | 112 | 999 | bất cứ số khẩn cấp nào phù hợp với thẩm quyền của bạn) và để lửa (công ty | bộ phận | lữ đoàn) sắp xếp nó trong khi họ Đang trên không khí đóng chai.

Các bộ phận máy tính chứa tất cả các loại hóa chất thú vị bao gồm thủy ngân , cadmium , chì và rất nhiều nhựa trong vỏ. Lưu ý rằng tất cả các liên kết tôi đã giải thích làm thế nào phơi nhiễm ở mức độ thấp có thể gây ra thiệt hại lâu dài hoặc thậm chí tử vong nhanh chóng. Đây là một môi trường có thể nguy hiểm ngay lập tức đến tính mạng và sức khỏe .

... Thật vậy, nếu có thứ gì đó đang cháy, đừng dành hàng giờ để ngửi khói. Nếu bạn không thể xác định nó và ngay lập tức hành động để chứa nó, hãy ra ngoài.

Nếu bạn đã giám sát đúng cách trên UPS (thường thông qua SNMP), thiết bị sẽ tự rung chuông trên hệ thống giám sát của bạn. Nếu không, hãy nói chuyện với nhà cung cấp của bạn về điều đó. Nó bị trục trặc hoặc hệ thống giám sát của bạn không được cấu hình đúng.

Nếu một cái gì đó hoạt động thực sự đang cháy, nó nên phàn nàn về nó theo một cách nào đó, hoặc đơn giản là tắt mạng, điều này cũng sẽ gây ra một báo động.

Nếu đó là một thứ giống như một đường ray điện thực sự đang cháy qua lớp cách nhiệt và nó không phải là một PDU thông minh, thì chúng ta sẽ trở lại câu hỏi ban đầu của bạn, đó là "làm thế nào để tôi tìm thấy một thứ đang cháy?" Và tôi nghĩ rằng câu trả lời thích hợp là "Nhấn EPO và tìm ra nó. Các máy chủ sản xuất của bạn có lẽ không đủ quan trọng để mạo hiểm tính mạng."

Đây là một trong những tình huống trong đó

không áp dụng, bạn nên gọi một chuyên gia

Bất cứ điều gì khác chỉ là ngu ngốc đơn giản.

Là một người có sự nghiệp trước đây là một công nghệ điện tử, tôi có kinh nghiệm với "mùi cháy" mà không phải là lửa. Đây không phải là hiếm.

Tôi sẽ không đóng cửa một trung tâm dữ liệu cho một mùi. Khói là một vấn đề khác, một cái gì đó thực sự đang cháy (thông thường, nhưng một tụ điện tantalum cỡ hạt đậu cũng có thể lấp đầy một căn phòng với khói). Thật đáng ngạc nhiên khi một thành phần chiên trong nguồn cung cấp năng lượng có thể tạo ra.

Một nhiệt kế TIC hoặc IR (một công cụ hữu ích và rẻ hơn nhiều so với TIC) sẽ không nhất thiết phải hiển thị nó vì thành phần này không tạo ra nhiều nhiệt và nó nằm trong vỏ. Nhưng kiểm tra các thiết bị không hoạt động, sử dụng các công cụ giám sát của bạn. Đối với một mùi như vậy thì 95% sẽ là nguồn cung cấp năng lượng ảnh hưởng đến hiệu suất của toàn bộ thiết bị.

Tôi thích hình ảnh hồng ngoại hoặc câu trả lời nhiệt kế nhưng có lẽ điều gì cũng có ích là một "máy dò mùi" thực sự. Sau tất cả những gì kích hoạt sự thận trọng của bạn là mùi. Khói, nhiệt, IR, vv đều là những chất thay thế.

Một cái gì đó như thế này : . Cá nhân tôi chưa bao giờ sử dụng chúng hoặc thậm chí nhìn thấy chúng được sử dụng trong trung tâm dữ liệu. Nhưng ít nhất về mặt lý thuyết nó phải là một công cụ gọn gàng. Nếu bạn có tiền để chi cho gizmo này.

http://www.sca-shinyei.com/odormeter hoặc http://www.intopsys.com/products/cyranose.html?gclid=CNXXzOrLs7YCFUws6wodViYApQ

Nó cung cấp cho bạn một sức mạnh mùi cũng như phân loại. Vì vậy, homing vào mùi nên có thể. Ác quỷ trong các chi tiết của khóa học. Làm thế nào nó nhạy cảm, che giấu mùi nền giả v.v.

Một lợi thế so với các phép đo hoàn toàn dựa trên nhiệt độ là thường có mùi xảy ra ở điểm hoặc ngưỡng sớm hơn nhiều. Hoặc nếu thành phần quá nóng bị che khuất bởi một cơ thể / hệ thống dây được che giấu, v.v. thì việc phát hiện các phân tử thoát ra sẽ dễ dàng hơn so với một điểm nóng tầm nhìn.

Một tình huống khác là mùi không liên quan đến nhiệt. Chúng tôi đã có một rò rỉ mạch làm mát trước đó và mùi chất làm mát cũng đặc biệt. Tôi thậm chí sẽ không đi vào trường hợp cổ xưa của một loài gặm nhấm chết trong ống dẫn. :)

Tôi đã ngạc nhiên về độ nhạy của những cảm biến này. H2S / mercaptans tự động, vv (thủ phạm thông thường) có thể được phát hiện ở cấp độ ppm phụ.