Tai nạn quản trị hệ thống tốt nhất [đóng]

Tôi đang tìm kiếm những câu chuyện thú vị về tai nạn quản trị hệ thống mà bạn đã có. Xóa email của CEO, định dạng ổ cứng sai, v.v.

Tôi sẽ thêm câu chuyện của riêng tôi như một câu trả lời.

Tôi rất vui khi khám phá sự khác biệt giữa lệnh "killall" của linux (giết tất cả các quy trình khớp với tên đã chỉ định, hữu ích để ngăn chặn zombie) và lệnh "killall" của solaris (giết tất cả các quy trình và tạm dừng hệ thống, hữu ích để dừng máy chủ sản xuất trong giữa giờ cao điểm và khiến tất cả đồng nghiệp cười nhạo bạn trong một tuần).

Tôi phụ trách proxy web công ty của chúng tôi lúc đó là sản phẩm của Netscape. Trong khi chơi xung quanh trong các biểu mẫu quản trị viên (đó là giao diện dựa trên web), có một nút lớn (và tôi thề là màu đỏ) có nội dung Xóa Cơ sở dữ liệu người dùng . Không có vấn đề, tôi nghĩ. Hãy xem những tùy chọn mà nó mang lại cho tôi khi tôi nhấn vào đó. Chắc chắn sẽ có một dấu nhắc xác nhận nếu không có tùy chọn.

Vâng, không có xác nhận. Không có lựa chọn. Không còn người dùng.

Vì vậy, đã đến gặp ông Solaris Sysadmin và nói rằng tôi đang rất cần một bản khôi phục từ băng mà ông trả lời: "Tôi không sao lưu cái hộp đó lên."

"Uh, trở lại lần nữa," tôi vặn lại.

"Tôi không sao lưu cái hộp đó lên. Nó nằm trong danh sách những thứ cần thêm vào vòng quay dự phòng nhưng tôi vẫn chưa tìm được nó."

"Máy chủ này đã được sản xuất gần 8 tháng!" Tôi hét lên.

nhún vai , anh trả lời. "Lấy làm tiếc."

Cách đây nhiều năm, công ty tôi làm việc đã có một khách hàng chạy bản sao lưu hàng đêm của Máy chủ NT 4.0 của họ sang ổ đĩa Jaz (như đĩa zip dung lượng cao).

Chúng tôi thiết lập một tệp bó, chạy như một công việc theo lịch trình qua đêm. Mỗi buổi sáng, họ sẽ thu thập đĩa đêm qua từ ổ đĩa và trước khi họ rời đi vào buổi tối, họ sẽ đưa đĩa tiếp theo vào trình tự.

Dù sao, tệp bó trông giống như thế này (ổ Jaz là ổ F :)

@echo off
F:
deltree /y *.*
xcopy <important files> F:

Dù sao, một đêm nọ họ quên đặt đĩa vào. Thay đổi ổ F: không thành công (không có ổ đĩa) và tệp bó tiếp tục chạy. Thư mục làm việc mặc định cho tệp bó? C :. Lần đầu tiên tôi từng thấy một thói quen sao lưu phá hủy máy chủ mà nó đang sao lưu.

Tôi đã học được một chút gì đó về sysadminning (và xử lý ngoại lệ) ngày hôm đó.

Jim.

PS: Cách khắc phục? "deltree / y F: \ *. *".

root @ dbhost # find / -name core -exec rm -f {} \;

Tôi: "Bạn không thể vào được? OK. Tên DB là gì?"

Cu: "Lõi."

Tôi: "Ồ."

Tôi thích cách mọi người đủ điều kiện kể câu chuyện của họ với "khi tôi còn trẻ / xanh" như thể họ sẽ không bao giờ làm điều đó một lần nữa. Tai nạn có thể xảy ra với ngay cả những chuyên gia dày dạn nhất.

Khoảnh khắc tồi tệ nhất của tôi rất tệ, tôi vẫn cảm thấy hồi hộp khi nghĩ về nó ...

Chúng tôi đã có một SAN với dữ liệu sản xuất trên đó. Quan trọng đối với công ty. "Người cố vấn" của tôi đã quyết định mở rộng một phân vùng để giải phóng một số dung lượng đĩa. Bạn có thể thấy nơi này đang hướng tới? Ông nói rằng phần mềm SAN có thể thực hiện điều này trực tiếp, trong giờ sản xuất và không ai có thể nhận thấy. Chuông báo thức lẽ ra đã bắt đầu vang lên, nhưng im lặng một cách rõ rệt. Ông nói rằng ông đã thực hiện nó "vô số lần trước đây" mà không gặp vấn đề gì. Nhưng đây là điều - anh ấy đã cho tôi bấm vào nút có nội dung "bạn có chắc không?"! Khi tôi mới vào công ty, tôi cho rằng anh chàng này biết anh ta đang nói về cái gì. Sai lầm lớn. Tin tốt là LUN đã được gia hạn. Tin xấu là ... tôi cũng biết có tin xấu khi tôi bắt đầu thấy lỗi ghi đĩa trên hộp Windows.

Tôi rất vui vì tôi đã mặc quần nâu.

Chúng tôi đã phải giải thích tại sao 1TB dữ liệu đã biến mất vào giờ ăn trưa. Đó là một ngày thực sự, thực sự tồi tệ.

Đó thực sự là một nguyên tắc tốt - trước khi bạn làm điều gì đó mà bạn nghi ngờ, hãy tưởng tượng phải giải thích với quản lý nếu có sự cố xảy ra. Nếu bạn không thể nghĩ ra một câu trả lời hay để giải thích cho hành động của mình thì đừng làm điều đó.

Nagios đã ping chúng tôi vào một buổi sáng khi giờ làm việc bắt đầu nói rằng nó không thể kết nối với một máy chủ không quan trọng. Ok, đi đến phòng máy chủ. Đó là một máy chủ cũ, Dell 1650 được mua vào năm02 và chúng tôi biết rằng những năm 1650 đã gặp sự cố về phần cứng. PFY đâm vào nút nguồn. Không có gì. Nhấn nó một lần nữa và giữ nó trong năm giây để 'bật nguồn' ... nó sẽ ghi đè lên khả năng bảo vệ lỗi của BMC, vì không có DRAC, không có cách nào để kiểm tra nhật ký BMC mà không cần bật nguồn lên khung máy.

Máy bắt đầu POST, rồi lại chết. Tôi đứng trên nó và đi, "Tôi ngửi thấy mùi khói." Chúng tôi kéo máy chủ ra trên đường ray của nó, và một trong những nguồn cung cấp năng lượng cảm thấy ấm áp, vì vậy PFY kéo nó và chuẩn bị đóng hộp lại. Tôi nói, "Không, đó không phải là khói cung cấp điện, đó là khói bo mạch chủ."

Chúng tôi mở trường hợp một lần nữa và tìm kiếm nguồn gốc của mùi cháy. Hóa ra một cuộn dây dẫn và tụ điện có thứ gì đó thổi ra bộ điều chỉnh điện áp trên bo mạch chủ, và phun đồng nóng chảy và tụ điện đi khắp mọi thứ, rút ​​ngắn một loạt các thứ và về cơ bản tạo ra một mớ hỗn độn lớn.

Điều tồi tệ nhất đối với tôi là nhận ra rằng tôi đã hút đủ phần cứng để nhận ra sự khác biệt giữa mùi của bo mạch chủ bị cháy và nguồn điện bị cháy.

Ba ngày trước (nghiêm túc) Tôi đã đăng nhập từ xa vào máy chủ của trường, cài đặt Gói dịch vụ 2 trên máy chủ tệp Windows Server 2008.

Tôi quyết định lên lịch khởi động lại cần thiết vào tối muộn, khi giáo viên sẽ không đăng nhập để hoàn thành thẻ báo cáo cuối năm của họ. Tôi đã gõ một cái gì đó như:

 lúc 23:59 "tắt máy -r -t 0" 

... mà có thể đã làm việc tốt.

Nhưng rồi tôi lần thứ hai tự đoán. Cú pháp 'tắt máy' của tôi có đúng không? Tôi đã cố gắng để xem trợ giúp sử dụng bằng cách gõ

 tắt máy / h 

... và ngay lập tức mất kết nối RDP của tôi. Hoảng sợ, tôi nhấn Google cho cú pháp. Một tìm kiếm nhanh cho thấy phiên bản tắt máy chủ 2008 bao gồm công tắc / h, mà (như bạn có thể đoán) đã ngủ đông máy.

Giáo viên bắt đầu gọi cho tôi trong vòng vài phút để báo cáo rằng họ không còn có thể mở hoặc lưu thẻ báo cáo mà họ đã làm việc. Vì tôi đang ở ngoài công trường và phòng máy chủ đã bị khóa, tôi phải gọi trực tiếp cho hiệu trưởng và hướng dẫn cô ấy thông qua quá trình bật lại máy.

Hôm nay tôi đã mang bánh quy tự làm cho mọi người như một hình thức xin lỗi.

Trong một công việc trước đây, chúng tôi có một hệ thống cây nhà lá vườn tuyệt vời đã ghi lại và lưu trữ từng mẩu thư được nhập, để lại hoặc ở lại trong công ty.

Thổi bay toàn bộ hộp thư của bạn? Không vấn đề gì! Tìm kiếm một mẩu thư mà ai đó đã gửi cho bạn một tuần / tháng / năm trước nhưng bạn không thể nhớ ai đã gửi nó hoặc chủ đề đó là gì? Không vấn đề gì! Chúng tôi sẽ chỉ phân phối lại mọi thứ từ tháng Hai cho bạn vào một thư mục đặc biệt.

Tại một số thời điểm, cần có giám đốc điều hành của công ty để theo dõi thư đi giữa một đối thủ cạnh tranh và một nhân viên bán hàng nội bộ dưới sự nghi ngờ. Vì vậy, chúng tôi thiết lập một kịch bản hơn là chạy mỗi đêm và gửi thư có liên quan từ ngày hôm trước cho Giám đốc điều hành. Không vấn đề gì!

Khoảng một tháng sau, một vấn đề cấp bách cộng gấp đôi xuất phát từ trên cao. Có vẻ như Giám đốc điều hành đang đọc qua danh sách các thư được gửi tới $ OTHERCOMPANY, ông đã tìm thấy thư này:

To: somebody@$OTHERCOMPANY
From: CEO
Subject: CEO has read your message (subject line here)

Đương nhiên, CEO là một người quan trọng và tất cả, anh ta quá bận rộn để nhấp vào tất cả các hộp thoại "Gửi biên nhận đã đọc" trong Outlook và đã cấu hình ứng dụng khách của mình để gửi tất cả. Một trong những thông báo bị bộ lọc giám sát bắt gặp có bộ yêu cầu nhận đọc. Đoán xem Outlook đã làm gì? Chắc chắn đã làm hỏng việc giám sát 'bí mật'.

Nhiệm vụ tiếp theo của chúng tôi: thêm quy tắc vào bộ lọc thư để chặn biên lai đọc từ CEO đến công ty đó. Vâng, đó là cách dễ nhất. :)

Ahhh, của tôi là khoảng 10 năm trước, khi tôi vẫn còn ướt chân. Tôi đã có niềm vui cài đặt sao lưu pin trên tất cả các máy tính lập trình viên. Họ cũng muốn phần mềm được tải để cảnh báo mất điện và tắt đúng cách.

Vì vậy, tôi đã thiết lập nó trên máy tính của mình để kiểm tra tất cả mọi thứ trước tiên và chắc chắn rằng tất cả đều hoạt động. Vì vậy, tôi ngắt kết nối dây nguồn và thông báo xuất hiện trên màn hình của tôi. "Mất điện bên ngoài, bắt đầu tắt hệ thống".

Vì vậy, tôi nghĩ, Hey tuyệt, nó đã làm việc. Nhưng vì một số lý do kỳ lạ, tôi thậm chí còn không nhớ, nó đã gửi tin nhắn đó dưới dạng tin nhắn mạng để tất cả hơn 200 máy tính trong công ty nhận được tin nhắn đó, nơi có hơn 100 người dùng nơi lập trình viên.

Vâng, nói về hàng loạt quái vật !!

Tôi cúi thấp đầu ở nơi đó một lúc!

Tôi thường sử dụng lệnh "sys-unconfig" trên các máy Solaris để đặt lại dịch vụ Tên máy, địa chỉ IP và mật khẩu gốc. Tôi đang ở trên một hệ thống người dùng và tôi đã đăng nhập vào máy chủ cài đặt tòa nhà và tìm kiếm thứ gì đó (với quyền root), sau đó quên rằng tôi đã đăng nhập vào một máy khác (dấu nhắc "#" không mô tả) Tôi đã chạy lệnh "sys-unconfig".

# sys-unconfig     
        WARNING

This program will unconfigure your system.  It will cause it
to revert to a "blank" system - it will not have a name or know
about other systems or networks.

This program will also halt the system.

Do you want to continue (y/n) ? y

Connection closed

#

Thông báo "kết nối đã đóng" đó từ từ chuyển sang hoảng loạn ... tôi đã đăng nhập vào máy nào khi chạy lệnh đó.

Điều tồi tệ nhất của việc này không phải là khoảng thời gian khó khăn mà đồng nghiệp của tôi dành cho tôi, đó là tôi đã làm điều tương tự một tháng sau đó.

Tôi đã có một cái khá tốt. Phải thừa nhận rằng, trước đây tôi là một sysadmin, nhưng vẫn liên quan đến công nghệ nên tôi nghĩ tôi sẽ thêm nó.

Ngày trước, tôi đã làm việc như một công nghệ satcom / băng rộng cho USAF. Vừa tốt nghiệp trường kỹ thuật, tôi thấy mình đóng quân ở Hàn Quốc. Ngay sau khi đến ga, một cơ hội đã nảy sinh để đi xuống phía nam với các "ông lớn" đã ở đó một thời gian và thực sự làm việc trên một số thiết bị trong thế giới thực, (ví dụ như 'sản xuất').

Tôi đã đi xuống cùng với phi hành đoàn và với tư cách là một công nghệ trẻ, háo hức, đang háo hức một chút, khá phấn khích trước viễn cảnh có được một thiết bị thực sự truyền qua giọng nói và dữ liệu quân sự TRỰC TIẾP.

Để bắt đầu với tôi từ từ, họ đưa cho tôi một cuốn sổ tay, chuyển sang phần bảo trì phòng ngừa và chỉ cho tôi theo hướng bốn giá đỡ chứa nhiều bộ ghép kênh kỹ thuật số lớn. Các thiết bị đã đủ dễ dàng, chúng tôi đã bao gồm các thiết bị tương tự trong trường công nghệ.

Trang đầu tiên của hướng dẫn đọc; "Cấp nguồn cho bộ ghép kênh hai chiều. Xoay cả hai công tắc phía sau sang vị trí BẬT và đợi thiết bị bật nguồn, sau đó bắt đầu thử nghiệm." Tôi nhìn lên, và đã có nguồn điện ÁP DỤNG!

Tôi đã ở trong tình trạng khó khăn cho chắc chắn. Không biết làm thế nào để tiến hành, tôi đã cố hết sức, 'Ummmm .. Kinda thua ở đây' nhìn vào đàn anh.

Anh ấy nhìn tôi và cười, "Không, không, không sao. Bạn có thể bỏ qua phần đó trong danh sách kiểm tra." Sau đó, khi anh ta chú ý đến vẻ mặt của tôi, (vì chúng tôi được dạy ở trường KHÔNG BAO GIỜ, EVER bỏ qua bất kỳ phần nào trong danh sách kiểm tra, và chắc chắn sẽ chết và hủy diệt nếu ai đó làm vậy), anh ta nhìn anh nghiêm túc đối mặt và nói, "Bỏ qua CHỈ phần đó! Làm theo phần còn lại của nó, đến bức thư!"

Nghiêm túc, tôi đã thực hiện các hướng dẫn PM nhiều bước, vui mừng như một con ngao và tự hào rằng họ đã để một công nghệ xếp hạng thấp như vậy, (mặc dù thông minh) làm công việc quan trọng này.

Ở đâu đó giữa danh sách kiểm tra bảo trì phòng ngừa thứ năm và thứ sáu trên các bộ ghép kênh khổng lồ này, tôi bắt đầu nhận thấy mức độ hoạt động tăng lên xung quanh mình. Điện thoại reo, mọi người di chuyển nhanh chóng. Vẻ ngoài kỳ quặc đã được trao đổi.

Cuối cùng, một nhóm người chạy đến chỗ tôi, đứng đầu là một trong những kỹ thuật viên cao cấp đã hạ bệ tôi.

"Này! Chúng ta đang thấy sự cố ngừng hoạt động dữ liệu lớn và chúng ta đã cô lập / truy tìm đường dẫn trở lại giá đỡ mà bạn đang làm việc! Bạn có thấy điều gì lạ không .."

(Vào thời điểm đó, anh ta đã bị cắt bởi một trong những người khắc phục sự cố, người đã tìm đường đến nhóm bộ ghép kênh đầu tiên mà tôi đã thực hiện các PM.)

"HOLY NUTS! HỌ ĐÃ BẮT ĐẦU! HÃY THAM GIA NGAY BÂY GIỜ !!!!"

Trong một thời gian ngắn, tôi quan sát khi họ vội vã chạy qua bước đầu tiên trong hướng dẫn, "Xoay cả hai công tắc phía sau sang vị trí BẬT ..." Khi công nghệ cao cấp đã xong, anh ấy đến chỗ tôi và hỏi tôi đang nghĩ gì của, bằng cách tắt các thiết bị quan trọng tắt.

Sợ mất trí, tôi đưa cho anh ta danh sách kiểm tra mà tôi đã theo dõi, thề rằng tôi đã không đi chệch hướng ở TẤT CẢ. Rằng tôi đã theo dõi nó, 'gửi thư' như anh đã chỉ dẫn.

Sau một lúc, anh cười và chỉ ra vấn đề nằm ở đâu.

Trong hướng dẫn, bước FINAL trong danh sách kiểm tra bảo trì phòng ngừa là:

"Ghi lại đọc đầu dò cuối cùng, lau bảng điều khiển phía trước, loại bỏ tất cả bụi và hạt, sau đó chuyển cả hai công tắc nguồn phía sau sang vị trí TẮT."

:)

Đó là một tai nạn sysadmin .. trong chừng mực các sysadins thỉnh thoảng phải vận chuyển một số lượng lớn máy móc từ điểm A đến điểm B (trong đó A và B dường như luôn bị ngăn cách bởi một vài chuyến thang bộ trong tòa nhà không có thang máy). Trong chuyến đi thứ n trong ngày, tôi dừng lại để có ba chuyến bay lên từ tầng tải tầng hầm để trò chuyện với ai đó đang đi xuống, chống đỡ tòa tháp kích thước đầy đủ mà tôi đang ngồi trên lan can bên trong của cầu thang mở và ... chà, bạn đoán ... hơi mất cảm giác với tôi. Nó lao thẳng xuống giếng và khi nó chạm đáy, thì ... không quá nhiều với chức năng cho cái đó! Tổng số phần có thể cứu được: hai thanh RAM, một ổ đĩa mềm và một thẻ ISDN (Chúa phù hộ cho những người kỹ thuật Hermstedt!). Mọi thứ khác đều bị nứt,

Nhờ ân sủng của Thiên Chúa, không ai được đi bên dưới, điều mà, may mắn cho tôi, là đầu tiên của ông chủ tôi, vì vậy tôi phải giữ công việc của mình. Cảm thấy rất ốm trong một giờ hoặc lâu hơn.

Đạo đức: trọng lực luôn chiến thắng!

Tôi đang tải lại một hệ thống cho một ai đó và trong quá trình sao lưu thủ công tôi đã hỏi anh ta câu hỏi "Bạn có chương trình nào khác mà bạn sử dụng không?" và "Có điều gì khác quan trọng bạn làm trên máy tính không?"

Anh ấy nói "không" lần nào.

Tôi đã bị thuyết phục và định dạng các ổ đĩa.

Khoảng 30 phút sau anh nói "trời ơi" và đặt cả hai tay lên đầu.

Hóa ra anh ta đã làm việc với một kịch bản sách trong hơn 10 NĂM trong một chương trình chuyên biệt. Điều này đã trở lại khi các chương trình được sử dụng để lưu dữ liệu người dùng trong thư mục tệp chương trình của nó và tôi đã bỏ lỡ nó.

Ai đó.

Anh ấy không giận tôi, nhưng đó là một cảm giác tỉnh táo.

Sở thích cá nhân của tôi không thực sự là của tôi, và tôi rất vui vì điều đó. Hãy nhìn vào đây.

Điều này đã không xảy ra với tôi, nhưng

Tôi đang làm việc tại một công ty sản xuất phần mềm chạy trên các máy Linux do khách hàng cung cấp. Về cơ bản, chúng tôi sẽ 'tiếp quản' các máy móc, cấu hình hoàn toàn chúng theo thông số kỹ thuật của chúng tôi và thực hiện tất cả việc quản lý và giám sát. Về cơ bản, chúng tôi là một nhóm gồm 10-15 hệ thống, quản lý hàng ngàn máy chủ cho hàng trăm khách hàng. Những sai lầm chắc chắn sẽ xảy ra.

Một người trong nhóm chúng tôi đã tìm thấy một số vấn đề trên máy chủ (tôi tin là bản sao lưu) và quyết định rằng anh ta nên chạy fsck trên đó. Anh ta đã dừng tất cả các dịch vụ liên quan, đảm bảo rằng hệ thống đã được sao lưu gần đây và sau đó chạy fsck, nhưng nó phàn nàn rằng hệ thống tập tin đã được gắn kết. Vì chúng tôi ở xa và không có quyền truy cập từ xa (DRAC, ILO, v.v.), anh ấy không thể thực hiện fsck, nhưng anh ấy khá chắc chắn rằng an toàn khi làm điều đó với hệ thống tập tin được gắn, nếu bạn cẩn thận.

Anh quyết định tự thử bằng cách chạy fsck trên phân vùng gốc của mình, với kết quả có thể dự đoán được - anh đã làm hỏng phân vùng gốc của mình và không thể khởi động được nữa.

Bối rối, anh ấy đi đến và nói chuyện với trưởng nhóm của chúng tôi. Người dẫn đầu nói rằng anh ta khá chắc chắn rằng bạn không thể làm điều đó, và thành viên trong nhóm nói 'Chắc chắn là bạn có thể!', Lấy bàn phím của người dẫn và cho anh ta thấy rằng bạn có thể - bằng cách chạy fsck trên phân vùng gốc của khách hàng tiềm năng. Mà hoàn toàn hỏng phân vùng gốc NGÀI.

Kết quả cuối cùng? Không có dữ liệu khách hàng bị mất, nhờ thử nghiệm của thành viên trong nhóm. Hai ngày năng suất của nhân viên đã bị mất, nhưng đó là giá trị rất xa, ít hơn nhiều so với dữ liệu trên máy của khách hàng. Và cho hồ sơ? Bạn có thể chạy fsck trên một ổ đĩa được gắn, nhưng chỉ để xác minh dữ liệu. Không sửa chữa nó. Đó là sai lầm của thành viên trong nhóm.

-

Để thêm câu chuyện của riêng tôi, tôi đã làm việc tại cùng một công ty và đang cố gắng thiết lập lại mật khẩu người dùng. Hệ thống của chúng tôi từ chối cho phép tôi đặt mật khẩu mà anh ta cần, bởi vì nó đã theo dõi băm mật khẩu cũ và từ chối cho phép bạn sao chép mật khẩu. Cơ chế rất đơn giản: nó xác nhận mật khẩu của bạn dựa trên hàm băm gần đây nhất trong cơ sở dữ liệu.

(Và đối với bản ghi, nó cần phải là mật khẩu cũ vì đây là tài khoản được chia sẻ và đảm bảo mọi người đều biết mật khẩu mới là không thực tế)

Tôi quyết định chỉ đi vào cơ sở dữ liệu người dùng và xóa các bản ghi mới để nó sẽ sử dụng bản cũ hơn. Tất cả chỉ là SQL (chạy phiên bản Sybase cổ), vì vậy thật dễ dàng. Đầu tiên, tôi phải tìm hồ sơ:

SELECT * FROM users_passwords WHERE username='someuser';

Tôi tìm thấy kỷ lục cũ anh muốn giữ; Có hai cái nữa trước mặt nó. Tôi quyết định khéo léo và chỉ xóa bất cứ thứ gì mới hơn bản ghi cũ. Nhìn vào tập kết quả, tôi thấy rằng mật khẩu cũ là ID # 28 trong cơ sở dữ liệu và mật khẩu mới là ID #several nghìn (hệ thống rất bận). Điều đó thật đơn giản, tất cả các hàng cũ đều> 28, vì vậy:

DELETE FROM users_passwords WHERE id > 28;

Không có gì tệ hơn là thực hiện một số thao tác cắt hàng đơn giản và thấy '212.500 hàng bị ảnh hưởng'. May mắn thay, chúng tôi có hai máy chủ cơ sở dữ liệu chính (có ID người dùng), nhưng Sybase (ít nhất là phiên bản của chúng tôi) không hỗ trợ sao chép tự động, do đó, nó không tự động xóa sạch các bản ghi cũ. Việc lấy một bảng của user_passwords và nhập lại nó là một vấn đề không quan trọng. Tuy nhiên, một tiếng 'oh f ** k!' Khá lớn chốc lát.

Một mục yêu thích khác của tôi:

Khi thiết lập máy tính và máy in laser cục bộ trên hệ thống, tôi đã có ý tưởng sáng suốt để cắm cả hai vào bộ lưu điện của máy tính. Bạn đã bao giờ thử in với máy in laser cục bộ khi cắm vào máy tính để bàn chưa? Chà, nếu bạn không biết, nó có xu hướng kéo tất cả các ampe ... Khởi động lại máy tính ... Và công việc in không bao giờ kết thúc ...!

Bao giờ nhận được cuộc gọi: ' Bất cứ khi nào tôi in, nó sẽ khởi động lại máy tính của tôi và không in !!! '?

Ôi trời!

Liên doanh

Câu lệnh XÓA mà không có mệnh đề WHERE, trên cơ sở dữ liệu người bảo trợ trực tiếp của khách hàng.

Gõ kill 1như root. initvà tất cả các con của cô đã chết. Và tất cả con cái của họ. v.v ... Rất tiếc.

Ý tôi muốn gõ là kill %1

Sau khi tôi nhận ra những gì tôi đã làm, tôi chạy đến bảng điều khiển của máy phân loại kiện len LỚN và nhấn nút dừng khẩn cấp. Điều này đã ngăn máy tự xé thành bit, vì tôi vừa giết phần mềm điều khiển nó.

Chúng tôi đang ở trong tình trạng mất điện và thấy rằng UPS đang chạy ở mức 112% tải được định cấu hình. Đây không phải là vấn đề vì chúng tôi đang chạy trên máy phát điện vào thời điểm đó.

Vì vậy, chúng tôi đã đi xung quanh kéo cáp điện dự phòng để giảm mức sử dụng điện trên UPS đó (chúng tôi có hai, một lớn hơn nhiều so với cái kia). Chúng tôi đã chuyển sang mạng chuyển phòng máy chủ (đây là phòng máy chủ có tất cả các máy chủ nội bộ cho công ty, với khách hàng phải đối mặt với máy chủ trong phòng máy chủ khác). Công tắc là một công tắc cấp doanh nghiệp lớn với ba bộ nguồn trong đó. Các nguồn cung cấp là N + 1 vì vậy chúng tôi chỉ cần hai để chạy công tắc.

Chúng tôi chọn một dây cáp và kéo nó ra. Thật không may cho chúng tôi, hai cái còn lại đã được cắm vào một dải năng lượng duy nhất, nó đã kịp thời thổi khi tải tăng lên trên hai bộ nguồn được cắm vào nó. Sysadmin sau đó hoảng loạn và cắm cáp thứ ba vào. Công tắc cố gắng bật lên, đặt toàn bộ tải của công tắc cho đến khi cung cấp điện duy nhất. Thay vì nguồn điện ngừng hoạt động, nó phát nổ trong một cơn mưa tia lửa không cách mặt tôi 12 inch khiến tôi nhảy trở lại vào giá đỡ máy chủ.

Không còn bản năng, tôi đã cố gắng nhảy sang một bên, nhưng không may bên trái tôi là một bức tường, và hai bên phải của tôi là một anh chàng cơ sở 6'4 "rất lớn. của giá đỡ Compaq (những cái có mặt trước bằng lưới mỏng) mà không đặt toàn bộ vào giá đỡ, và không chạm vào anh chàng cơ sở.

Tại một số thời điểm trong sự nghiệp của tôi, một cuộc điều tra pháp lý tại công ty tôi đang làm việc đã đặt ra một yêu cầu cho chúng tôi rằng tất cả các email được giữ từ "ngày này" về phía trước, cho đến khi được nói khác đi. Sau khoảng một năm lưu trữ các bản sao lưu đầy đủ hàng ngày của môi trường trao đổi của chúng tôi (1TB mỗi đêm), chúng tôi bắt đầu hết dung lượng.

Các quản trị viên trao đổi đề nghị rằng chúng tôi chỉ giữ mỗi bản sao thứ 8 của email. Để làm điều này, chúng tôi đã cho họ khôi phục một ngày giá trị của cơ sở dữ liệu trao đổi, trích xuất email họ cần (những người cụ thể được gắn cờ để điều tra) và lưu trữ lại. Họ đã làm điều này cho mỗi ngày thứ 8 của email cho tất cả các bản sao lưu của chúng tôi. Ngày thứ 8 đã được chọn vì trao đổi có một bộ tham số trong đó "các mục đã xóa" được giữ trong cơ sở dữ liệu trong 8 ngày.

Sau khi họ hoàn thành mỗi kho lưu trữ, tôi sẽ quay lại và xóa mọi bản sao lưu cũ hơn những gì họ đã lưu trữ.

TSM không có cách dễ dàng để làm điều này, vì vậy bạn phải xóa thủ công các đối tượng khỏi cơ sở dữ liệu sao lưu.

Tôi đã viết một tập lệnh sẽ xóa tất cả các bản sao lưu cũ hơn một số ngày, bằng cách tính toán ngày bằng cách sử dụng sự khác biệt giữa ngày hôm nay và ngày được đề cập. Vào một ngày nào đó, tôi phải xóa các bản sao lưu trị giá khoảng một tháng, ngoại trừ khi tôi thực hiện phép tính ngày, tôi đã đánh máy và nhập ngày là 7/10/2007 thay vì 6/10/2007 và chạy tập lệnh. Tôi đã xóa toàn bộ dữ liệu trị giá thêm một tháng, vô tình là một phần của vụ kiện rất quan trọng.

Sau đó, tôi đã thêm một số bước vào tập lệnh để xác nhận rằng bạn muốn xóa dữ liệu và cho bạn biết những gì nó sẽ xóa ...

May mắn thay, họ thậm chí không bao giờ sử dụng bất kỳ dữ liệu nào chúng tôi đã làm việc rất chăm chỉ để lưu giữ và tôi vẫn có công việc của mình.

Sau một ngày dài hoặc theo dõi hiệu suất và điều chỉnh một máy tính lớn (bạn biết các con thú mất vài giờ trước khi tất cả các trang web sao lưu dự phòng đã đồng ý rằng nó thực sự được khởi động lại và được đồng bộ hóa hoàn toàn) Tôi kéo dài ngón tay, tắt máy thỏa mãn -p bây giờ trong dấu nhắc máy tính xách tay của tôi, đóng nắp, rút ​​cáp nối tiếp ra khỏi máy tính lớn, với dự đoán về một ly lager lạnh đẹp.

Đột nhiên tôi nghe thấy âm thanh điếc tai khi quay xuống máy tính lớn trong khi máy tính xách tay của tôi vẫn đang vui vẻ hiển thị X.

Trong khi chờ máy hoàn toàn trực tuyến trở lại, tôi quyết định rằng tôi có thời gian để ACPI hoạt động trên máy tính xách tay của mình để tôi không bao giờ bị cám dỗ tắt máy tính xách tay.

Tai nạn này đã không xảy ra ... nhưng nó đáng được đề cập:

Tôi đã được gửi đến một trung tâm dữ liệu được sử dụng nhiều để tiến hành kiểm tra băng thông trên một mạch mới. Tôi đã đến phòng phân chia / IDF, tìm thấy một vị trí trên một trong các giá đỡ cho bộ định tuyến thử nghiệm của tôi, thực hiện các kết nối của tôi và bắt đầu các thử nghiệm. Thật không may, tôi hoàn toàn không nhận thấy bộ định tuyến đường viền trong sản xuất không chỉ chính xác trên giá tiếp theo (gần như ở cùng cấp độ), mà nó cũng là kiểu dáng và mẫu tương tự như bộ định tuyến thử nghiệm của tôi.

Khi thử nghiệm xong, tôi bắt đầu nhấn công tắc nguồn sang vị trí tắt (... hãy tưởng tượng nó đang chuyển động chậm ...) và, tôi thề, ngay khi tôi đang đặt áp lực, tôi nhận ra rằng bộ định tuyến mà tôi sắp sửa để tắt là một trong sản xuất. Trái tim tôi ngừng đập và tôi gần như ... tốt, sử dụng trí tưởng tượng của bạn.

Tôi rời khỏi trung tâm dữ liệu của công ty dữ liệu trông có vẻ ma quái và nhợt nhạt, nhưng đồng thời vui mừng vì tôi vẫn có một công việc!

Tôi đã xóa nhầm tài khoản của ai đó, có những cái tên bị lẫn với tên mà tôi muốn xóa. Đối thủ

Phần thú vị là họ không bao giờ biết những gì đã xảy ra. Nhận được cuộc gọi mà họ không thể đăng nhập, đồng xu rơi về tài khoản tôi đã xóa.

Trong khi trên điện thoại với họ, tôi đã nhanh chóng tạo lại tài khoản của họ, gắn lại hộp thư cũ của họ vào đó (rất may Exchange không xóa hộp thư ngay lập tức) và quay lại tệp người dùng cũ của họ.

Sau đó, tôi đổ lỗi cho họ vì đã quên mật khẩu của họ mà tôi vừa thiết lập lại cho họ :)

Vô tình cài đặt một tệp tar.gz trên hộp Gentoo Linux của tôi ở sai vị trí và nó để lại các tệp ở khắp mọi nơi. Điều này phải có vào khoảng năm 1999, 19 tại thời điểm đó (cảm ơn vì những bình luận bên dưới)

Là người đam mê, tôi quyết định tự mình viết kịch bản ra khỏi công việc đi thủ công qua từng tệp.

Vì vậy, tôi đã cố gắng:

tar --list evilevilpackage.tar.gz | xargs rm -rf

Tôi đã không mất nhiều thời gian để nhận ra rằng tar cũng liệt kê tất cả các thư mục mà chương trình đang sử dụng, những thư mục được bao gồm là '' / usr, / var, / etc '' và một vài thư mục khác mà tôi không thực sự muốn đi.

CTRL-C! CTRL-C! CTRL-C! Quá muộn! Mọi thứ đã qua, cài đặt lại thời gian. May mắn thay, hộp không chứa bất cứ thứ gì quan trọng.

Là một phần nhỏ trong cuộc sống trước đây của tôi, tôi đã quản lý máy chủ tệp của công ty, một hộp số 4:11. Nó hầu như không cần bất kỳ đầu vào nào, nhưng nếu có, bạn đã mở một cửa sổ điều khiển từ xa.

Được sử dụng để sử dụng DOS mọi lúc, khi tôi hoàn thành, tôi tự nhiên sẽ gõ "Thoát". Đối với Netware, "exit" là lệnh tắt hệ điều hành. May mắn thay, nó sẽ không cho phép bạn tắt máy trừ khi bạn "Xuống" máy chủ trước. (Làm cho nó không khả dụng với mạng / máy khách) Vì vậy, khi bạn gõ "Thoát" trong bảng điều khiển, nó sẽ nói một cách hữu ích, "Trước tiên bạn phải gõ" Xuống "trước khi bạn có thể thoát"

Hỏi tôi bao nhiêu lần tôi 1: gõ "thoát" trong phiên giao diện điều khiển và 2: Nhanh chóng gõ "Xuống" và sau đó "Thoát" để tôi có thể "hoàn thành những gì tôi đang cố gắng làm"

Và rồi điện thoại bắt đầu đổ chuông .....

cười ngả nghiêng

Một câu chuyện khác đã không xảy ra (phew):

Chúng tôi đã thực hiện sao lưu gia tăng mỗi ngày vào một ổ đĩa băng.

Chúng tôi tình cờ viết một cuộn băng chứa dữ liệu để gửi cho người khác. Họ nói 'chúng tôi không thể đọc băng của bạn'. Trong thực tế, chúng ta cũng không thể. Hoặc bất kỳ băng trong thực tế.

Chúng tôi đã mua một ổ đĩa băng khác và nín thở cho đến khi chúng tôi cài đặt nó.

Đạo đức của câu chuyện. Luôn chắc chắn rằng bạn kiểm tra bản sao lưu của bạn.

Nơi cuối cùng tôi làm việc, đồng nghiệp của tôi đã có con với anh ta trong phòng máy chủ (tại sao? Tôi KHÔNG CÓ Ý TƯỞNG!).

Anh ta đảm bảo rằng họ ở rất xa các máy chủ và giải thích với đứa con 5 tuổi của mình rằng anh ta không nên chạm vào BẤT K of máy chủ nào và ĐẢM BẢO không có công tắc nguồn nào.

Thực tế, anh ta đã có chúng ngay gần cửa ... (bạn có thể thấy nơi này đang diễn ra không ...?)

Cậu bé không chạm vào bất kỳ nút nguồn máy chủ nào ... Không, điều đó hoàn toàn quá dễ để giải thích. Thay vào đó, anh ta chạm vào NÚT ĐỎ LỚN ở gần cửa ... Nút tắt nguồn cho PHÒNG ENTIRE SERVER !!!

Các đường dây điện thoại ngay lập tức bắt đầu sáng lên tự hỏi tại sao Exchange, Máy chủ tệp, v.v. không có sẵn ... Hãy tưởng tượng bạn đang cố gắng giải thích điều đó với CEO!

-JFV

Tôi đã từng có một cuộc chiến với phần mềm giám sát APC UPS. Là một công ty nhỏ, chúng tôi đã có một vài UPS nhỏ và nhiều máy chủ khác nhau được thiết lập để giám sát chúng. Hầu hết các máy chủ là Linux, nhưng một số ít chạy Windows và vì vậy chúng là những máy chủ được sử dụng vì phần mềm APC chỉ dành cho Windows.

Tuy nhiên, phần mềm APC tại thời điểm đó đã được mã hóa cứng để giả định rằng UPS mà nó đang nói đến cũng đang cung cấp năng lượng cho PC đang chạy! Đây không phải là trường hợp của máy chủ này, nhưng tôi phát hiện ra rằng đã quá muộn để bảo nó dừng lại. Thật không may, lập trình viên chính đang trình diễn sản phẩm của công ty cho đối tác - đó là một ứng dụng dựa trên web, chạy trên cùng một máy chủ mà tôi không muốn phần mềm APC ngừng hoạt động ...

Tôi đã cho một sysadmin mới tham quan ứng dụng Trình quản lý dịch vụ. Tôi nói "nếu bạn cần dừng dịch vụ này, bạn sẽ nhấp vào nút này, nhưng bạn không bao giờ nên làm điều đó trong ngày." Bạn sẽ không bao giờ tin rằng nút chuột của cô ấy nhạy cảm như thế nào!

Hai phút sau, dịch vụ đã bắt đầu lại và dường như không ai để ý.

Việc vấp phải một máy chủ tháp được đặt phía sau giá đỡ và đập đầu tôi vào mặt sau của bộ định tuyến chính của Cisco trên đường tôi đi xuống. Do đó, tiết lộ cách thức các dây điện thực sự được đặt trong các bộ nguồn ở mặt trước của Catalyst 6500 .

Vâng. Bây giờ chúng ta đã gặp khó khăn trong một cái móc trong phòng máy chủ. Với tên của tôi trên đó.