Công cụ tốt nhất để theo dõi các bản sao lưu, v.v. và các xu hướng thống kê từ dữ liệu đó [đã đóng]

Tôi đã thực hiện một số nghiên cứu về nagios, opennms và zenoss nhưng tôi không tự tin rằng tôi đã tìm thấy những gì tôi đang tìm kiếm.

Động lực chính cho tôi ngay bây giờ là có thể theo dõi các bản sao lưu. Điều này bao gồm mysql, mssql và cuối cùng là một số bản sao lưu hệ thống tệp.

Chúng tôi có một công cụ bao bọc quá trình sao lưu cho các hệ thống khác nhau này và thu thập số liệu thống kê. Vì vậy, các mục như:

• số lượng cơ sở dữ liệu được sao lưu
• kích thước của tệp sao lưu db
• kích thước của tệp sao lưu db được nén
• thời gian để sao lưu
• thời gian để tập tin zip

Tôi muốn có thể A) có thông báo nếu các công việc không được chạy theo lịch trình B) có thể đặt ngưỡng cho các số liệu thống kê sẽ kích hoạt thông báo C) Tôi muốn có thể xu hướng và vẽ biểu đồ thống kê

Tôi đang lên kế hoạch gửi thông tin này đến ứng dụng giám sát thông qua HTTP POST. Hoặc, ứng dụng giám sát cũng có thể lấy nó từ một tệp nhật ký.

Tuy nhiên, chúng tôi sẽ có các quy trình khác với các thống kê "tùy ý" (theo quan điểm của hệ thống giám sát) sẽ muốn theo dõi và xu hướng, vì vậy tính linh hoạt là rất quan trọng.

Công cụ hoặc công cụ cũng có thể thực hiện giám sát và xu hướng chung về giao diện mạng, tải máy chủ, v.v. Khi chúng tôi nhận được giám sát dự phòng, chúng tôi cũng sẽ muốn bao gồm các mục đó.

Cảm ơn.

Theo dõi :

Tôi đã quyết định thử những thứ sau theo thứ tự nhất định:

• Zabbix: dường như là một "cửa hàng một cửa" hơn các cửa hàng khác và rất dễ cài đặt trong Ubuntu Lucid RC
• quan điểm
• Nagios w / nagvis, pnp4nagios, nagiosgraph
• plugin cacti w / npc
• Munin: một chút sẹo của sự đơn giản, nhưng điều này có thể chứng tỏ là một phước lành trong thời gian dài

Sẽ gửi lại sau khi tôi đã đưa ra quyết định, có thể sẽ mất một lúc cho đến khi điều đó xảy ra.

Thay vì viết giải pháp giám sát của riêng bạn, tôi thực sự khuyên bạn nên sử dụng một công cụ hiện có để tất cả các chức năng cảnh báo và giám sát cơ bản đã được triển khai. Nếu bạn chọn Nagios, bạn sẽ được theo dõi cơ bản tài nguyên mạng và máy chủ miễn phí và các plugin sau sẽ cung cấp cho bạn hầu hết phần còn lại của những gì bạn cần:

check_file_ages_in_dirs sẽ cho bạn biết liệu các tập tin sao lưu có tồn tại hay không; đây là một bài viết trên blog tôi đã viết với một số ví dụ cơ bản

check_file có thể giám sát kích thước và nội dung tệp (sử dụng biểu thức chính quy), do đó bạn có thể xuất số liệu thống kê dự phòng của mình thành tệp và theo dõi chúng.

Điều duy nhất bạn sẽ không nhận được từ Nagios là xu hướng và vẽ đồ thị; Tôi khuyên bạn nên xem Munin vì điều đó rất đơn giản để thiết lập và, giống như Nagios, có rất nhiều plugin đóng góp.

điều này khá dễ dàng để thiết lập với zabbix.

thiết lập ngưỡng tùy chỉnh (và rất mạnh) rất dễ dàng - bạn có thể viết bất kỳ biểu thức nào bạn thích, do đó, một cái gì đó như "thông báo cho tôi nếu hơn 3 trong số 5 máy chủ này không có bản sao lưu thành công" là có thể. bạn cũng có thể sử dụng 6 mức độ nghiêm trọng và mức độ leo thang khác nhau để đạt được thông báo và cảnh báo linh hoạt.

zabbix đã tích hợp khả năng lưu trữ và hiển thị dữ liệu - tất cả dữ liệu được lưu trữ trong cơ sở dữ liệu và để lập biểu đồ cho một số liệu duy nhất bạn không cần bất kỳ cấu hình nào - bạn chỉ cần lấy biểu đồ cho nó "miễn phí". để lưu trữ dài hạn và trung bình một giờ xu hướng được tính toán.

đối với việc lấy dữ liệu của bạn về các bản sao lưu vào zabbix, có nhiều khả năng. bạn có thể đọc nó từ các tập tin, bạn có thể khởi chạy các lệnh tùy chỉnh, bạn có thể đẩy nó từ máy được giám sát bằng tiện ích dòng lệnh zabbix_sender ... và có thể có một vài cách tiếp cận khả thi hơn.

mở rộng rất dễ dàng - bất kỳ lệnh tùy chỉnh nào trả về dữ liệu đều có thể được sử dụng để thu thập, lưu trữ và trực quan hóa dữ liệu đó.

Tất nhiên, có thể giám sát chung các hệ điều hành, ứng dụng, thiết bị snmp và ipmi, v.v.

chấp hành

sao lưu được sắp xếp bởi backupninja . tôi sử dụng nó chỉ là một trình bao bọc cho các tập lệnh bash của tôi - để có nhật ký sao lưu duy nhất. mỗi kịch bản bắt đầu bằng

 function handle {
         echo Error
         error problem occured
 }
 set -e
 trap handle ERR

vì vậy tôi gặp lỗi trong nhật ký bất cứ khi nào bất kỳ lệnh nào [ví dụ: mysqldump hoặc rsync] không thành công.

tất cả các bản sao lưu kết thúc trong rdiff kho vì vậy tôi có n ngày của gia số.

tất cả các bản sao lưu được truyền bằng cách sử dụng rsync đến máy chủ lưu trữ trung tâm.

trên máy chủ lưu trữ, tất cả các bản sao lưu được xác minh hàng ngày và sau khi xác minh thành công dữ liệu trên đĩa cục bộ, chúng sẽ được sao chép vào ổ đĩa USB ngoài.

xác minh

backupninja.log trên tất cả các máy chủ được giám sát bởi nagios. tôi kiểm tra nếu chúng chỉ chứa các tin nhắn DEBUG và INFO. bất cứ điều gì khác kích hoạt cảnh báo.

mỗi bản sao lưu 'chạm' một tệp kiểm tra, sự hiện diện và độ mới được theo dõi trên máy chủ kho lưu trữ sao lưu trung tâm với nagios.

ngoài ra các bãi rác sql quan trọng hơn được kiểm tra kích thước của chúng [không chỉ độ tươi] và tính đầy đủ [ví dụ: ở cuối bãi rác mysql tôi mong đợi dấu thời gian mới trong

- Đổ hoàn thành vào 2010-04-22 23:21:02

tất cả các tài liệu lưu trữ được xác minh hàng ngày trước khi dữ liệu được đồng bộ hóa với ổ USB và sau đó một lần nữa sau khi chúng được đồng bộ hóa. Vì vậy, ngay cả khi việc chuyển hàng đêm bị gián đoạn, tôi sẽ có kho lưu trữ nhất quán chỉ trên đĩa USB. kết quả kiểm tra được ghi vào tệp mà nội dung và độ tươi được kiểm tra bởi nagios.

đĩa usb được quay hàng tuần và được lưu trữ ngoại tuyến, chỉ trong trường hợp. điều này có thể quá mức cần thiết cho lượng dữ liệu lớn hơn, nhưng hoạt động tốt với ~ 300GB tệp / bãi thay đổi chậm.

xu hướng

tôi sử dụng plugin munin tùy chỉnh đơn giản để vẽ kích thước của diff / data cho mỗi kho lưu trữ thứ ba.

thời gian cần thiết để thực thi có thể được kiểm tra trong nhật ký backupninja nhưng bây giờ tôi không bận tâm về nó.

nagios có thể thực hiện xu hướng, nhưng bạn cần xuất perfdata ( http://nagios.sourceforge.net/docs/1_0/perfdata.html ) trong plugin của mình. Nếu bạn sử dụng pnp4nagios http://docs.pnp4nagios.org/pnp-0.4/start thì mọi thứ sẽ được vẽ thành biểu đồ cho bạn.

Tôi đã thấy rằng sử dụng opsview http://www.opsview.org/ dễ dàng hơn so với việc cấu hình nagios và pnp4nagios. Đặc biệt nếu bạn là quản trị viên hiểu biết linux duy nhất tại nơi làm việc. Opsview là nagios với một webui tuyệt vời cho phép hầu hết tất cả các hành động từ trình duyệt web. Bởi vì nó là nagios, bạn có thể sử dụng tất cả các plugin nagios bạn đã sử dụng trong quá khứ. Công cụ tuyệt vời.

Nagios để cảnh báo và Cacti cho biểu đồ cộng với một số tập lệnh shell hoặc perl sẽ làm chính xác những gì bạn muốn. Với sự kết hợp của chúng với nhau, bạn có thể làm được khá nhiều thứ, tùy thuộc vào số lượng nỗ lực bạn sẵn sàng bỏ ra.

Tôi khuyên bạn nên OpenNMS . Gói hoàn toàn là nguồn mở, được hỗ trợ tích cực và tăng cường thường xuyên. Để tham khảo, tôi tìm thấy trên thông tin cấu hình wiki của họ để theo dõi Symantec Backup Exec .

Từ trang web của họ ..

OpenNMS là nền tảng quản lý mạng cấp doanh nghiệp đầu tiên trên thế giới được phát triển theo mô hình nguồn mở. Nó bao gồm một dự án nguồn mở được cộng đồng hỗ trợ cũng như một dịch vụ thương mại, đào tạo và tổ chức hỗ trợ.

Tiết lộ: Tôi không có lợi ích thương mại ở đây, nhưng chủ sở hữu của Tập đoàn OpenNMS , "tổ chức dịch vụ thương mại, đào tạo và hỗ trợ" được đề cập ở trên là một người bạn của tôi.

Điều này có thể được thực hiện dễ dàng với Cevanus ( http://cevanus.com/ ). Chúng tôi thường xuyên nhập các số liệu như thế này với DTD XML của Resmon.