Lựa chọn thay thế cho Splunk?

Tôi khá ấn tượng với Splunk , đặc biệt là phiên bản 4. Đồ thị đẹp, cảnh báo (chỉ dành cho doanh nghiệp) và tìm kiếm nhanh, chính xác. Đó là một sản phẩm tuyệt vời.

Tuy nhiên, chi phí quá cao để xem xét sử dụng sản xuất đầy đủ cho công ty chúng tôi. Tất cả những gì chúng ta thực sự cần là có thể lập chỉ mục các bản ghi khác nhau ở vị trí trung tâm và tìm kiếm hợp lý trên đó. Có thông báo dựa trên một tìm kiếm đã lưu cũng thực sự tốt đẹp. Chúng tôi không thực sự vượt xa điều đó.

Trên thực tế, việc sử dụng lớn nhất của chúng tôi là triển khai các ứng dụng mới. Mọi thứ được ghi lại thông qua log4net vào Nhật ký sự kiện trên Windows hoặc tệp văn bản trên Linux. Splunk giúp dễ dàng tìm kiếm nhanh chóng trên các trang đó để đảm bảo tất cả các phần của ứng dụng đều hoạt động tốt - điều đó giúp chúng tôi tiết kiệm hàng tấn thời gian so với việc tìm kiếm các nguồn đăng nhập riêng lẻ.

Những lựa chọn thay thế tồn tại trong thị trường này? Tôi có một cảm giác chìm xuống Giá của Splunk rất cao bởi vì họ có sản phẩm tốt nhất cho đến nay, và họ biết điều đó. Chúng tôi muốn máy chủ chạy trên Windows.

Tôi sẽ mở một mô hình phân tách, sử dụng một sản phẩm cho nhật ký chung (thu thập qua syslog / Snare) và một sản phẩm dành riêng cho các ứng dụng tùy chỉnh của chúng tôi (như Bảng điều khiển Log4Net ).

Việc sử dụng một máy chủ nhật ký hệ thống đơn giản như Kiwi, được gửi đến SQL Server (có lẽ đã bật fulltext)?

Tôi hy vọng chi phí sẽ dưới 5 con số, USD. (Và vâng, tôi biết, chúng tôi rẻ. Chúng tôi là một công ty khởi nghiệp có ít tiền và BizSpark chăm sóc tất cả các giấy phép MS của chúng tôi.)

Chỉnh sửa: Tôi nên thêm, chúng tôi có khoảng 10 máy chủ vật lý, 20 máy ảo và một vài tường lửa và công tắc. 90% là Windows.

Lưu ý: Đây là tất cả liên quan đến Linux và phần mềm miễn phí , vì đó là những gì tôi chủ yếu sử dụng, nhưng bạn sẽ ổn với máy khách syslog trên Windows để gửi nhật ký đến máy chủ syslog của Linux.

Đăng nhập vào máy chủ SQL: Chỉ với ~ 30 máy, bạn sẽ ổn với hầu hết mọi syslog-alike tập trung và một phụ trợ SQL. Tôi sử dụng syslog-ng và MySQL trên Linux cho chính điều này.

Các mặt trận đẹp cho đồ thị là vấn đề chính - Dường như có rất nhiều mặt trước bị hack sẽ lấy các mục từ nhật ký và hiển thị bao nhiêu lần truy cập, cảnh báo, v.v. nhưng tôi không tìm thấy gì tích hợp và sạch sẽ. Phải thừa nhận rằng đây là điều chính mà bạn đang tìm kiếm ... (Nếu tôi tìm thấy bất cứ điều gì tốt thì tôi sẽ cập nhật phần này!)

Cảnh báo : Tôi sử dụng SEC trên máy chủ Linux để tìm những điều xấu xảy ra trong nhật ký và cảnh báo tôi bằng nhiều phương pháp khác nhau. Nó cực kỳ linh hoạt và không nhấp chuột như Splunk. Có một hướng dẫn tốt ở đây hướng dẫn thông qua rất nhiều tính năng có thể.

Tôi cũng sử dụng Nagios cho các biểu đồ có số liệu thống kê khác nhau và một số cảnh báo mà tôi không nhận được từ nhật ký (chẳng hạn như khi dịch vụ ngừng hoạt động, v.v.). Điều này có thể dễ dàng tùy chỉnh để thêm đồ thị của bất cứ điều gì bạn thích. Tôi đã thêm các biểu đồ của các mục như số lần truy cập được thực hiện cho máy chủ http, bằng cách yêu cầu tác nhân sử dụng plugin check_logfiles để đếm số lần truy cập trong nhật ký (nó lưu vị trí mà nó đạt được cho mỗi giai đoạn kiểm tra).

Nhìn chung, nó phụ thuộc vào chi phí thời gian của bạn để thiết lập điều này , vì có nhiều tùy chọn bạn có thể sử dụng nhưng chúng không được tích hợp như Splunk và có lẽ sẽ cần nhiều nỗ lực hơn để thực hiện những gì bạn muốn. Các biểu đồ Nagios rất đơn giản để thiết lập nhưng không cung cấp cho bạn dữ liệu lịch sử từ trước khi bạn thêm biểu đồ, trong khi với Splunk (và có lẽ là các giao diện khác), bạn có thể nhìn lại các nhật ký và đồ thị trong quá khứ mà bạn chỉ nghĩ đến việc nhìn từ họ.

Cũng lưu ý rằng định dạng và lập chỉ mục cơ sở dữ liệu SQL sẽ có ảnh hưởng rất lớn đến tốc độ truy vấn, do đó, ý tưởng về lập chỉ mục toàn văn bản của bạn sẽ làm tăng đáng kể tốc độ tìm kiếm. Tôi không chắc chắn nếu MySQL hoặc PostgreSQL sẽ làm điều gì đó tương tự.

Chỉnh sửa : MySQL sẽ thực hiện lập chỉ mục toàn văn bản, nhưng chỉ trên các bảng MyISAM trước MySQL 5.6. Trong 5.6 Hỗ trợ đã được thêm cho InnoDB .

Chỉnh sửa : Tất nhiên Postgresql có thể thực hiện tìm kiếm toàn văn bản: http://www.postgresql.org/docs/9.0/static/textsearch.html

Nhiều mục tiêu nhắm vào * nix hơn các cửa sổ, nhưng bạch tuộc không hỗ trợ các cửa sổ, và dường như nhắm vào cùng một thứ như splunk.

Tôi đang thử một số giải pháp giám sát - nhưng tôi muốn chủ yếu giám sát các cửa sổ. Hầu hết các hệ thống đều hướng đến giám sát SNMP, quản lý để lấy ra một lượng thông tin đáng chú ý mà không cần đại lý.

Đây là một số hệ thống tôi đã thử cho đến nay:

Nagios - Nguồn mở. Một con lợn để cấu hình nhưng được đánh giá cao và có vẻ rất linh hoạt. Nó dường như về cơ bản là một máy ghi âm và không cho phép thực thi tập lệnh từ xa và do đó không thể được sử dụng để xử lý các vấn đề về cấu hình, trung tâm hệ thống MS hoặc Kaseya. Không có tác nhân nhưng về cơ bản là vô dụng nếu không có công cụ NSclient được cài đặt trên mỗi máy khách.

Cacti - Công cụ đồ họa đẹp và đơn giản dựa trên việc kéo các số liệu thống kê snmp. Không có chất độc.

OpsView - Dựa trên Nagios nhưng dễ cấu hình hơn và có giao diện người dùng tốt hơn.

HypericHQ - Dễ dàng khởi động và chạy trong Windows. Phiên bản cơ sở là miễn phí và không có nhiều. Có một doanh nghiệp HypericHQ thương mại. Tác nhân phải được cài đặt trên mỗi khách hàng.

Zabbix - Một công cụ giám sát tốt đẹp khác. Nó dễ sử dụng hơn nagios. Có một tác nhân bạn có thể cài đặt trên windows và máy khách. Tôi chỉ mới khám phá điều này một chút cho đến nay.

Zenoss - Nguồn mở. Tôi đã rất ấn tượng bởi Zenoss chuyên nghiệp như thế nào. Đây là một màn hình dựa trên SNMP và có vô số tiện ích mở rộng để cho phép giám sát HP proliants, dịch vụ windows, máy chủ ms sql, mysql. Tất cả các phần mở rộng đều hoạt động thông qua SNMP nên không cần cài đặt gì trên máy khách. Tôi chưa khám phá hết và dường như có nhiều chức năng mà tôi chưa khai thác. Nó dựa trên Zope vì vậy trừ khi bạn tăng tốc độ cài đặt Zope, tôi khuyên bạn nên tải xuống VM đã chuẩn bị trước - nó hoạt động như một giấc mơ ngay lập tức.

Về mặt thương mại, bạn có thể xem một vài công cụ:

Kaseya - chi phí khoảng 6k mỗi năm cho 250 nút, nếu tôi nhớ chính xác, nhưng là một công cụ tuyệt vời và có một cộng đồng người dùng rất tích cực. Nó nhắm vào thị trường msp và cho phép giám sát nhiều hệ thống công ty. Nó có thể được sử dụng nội bộ mà không có vấn đề.

GFI Hounddog - đơn giản hơn Kaseya nhưng rất rẻ ở thời điểm hiện tại. Chắc chắn đáng xem.

Có một số giải pháp được bán dưới dạng hệ thống MSP nhưng về cơ bản là màn hình + quản trị viên từ xa kết hợp.

Ian

Đối với syslogging tập trung với nhiều tính năng tuyệt vời, tôi không thể không giới thiệu rsyslog đủ. Đây là một máy chủ syslog mã nguồn mở có thể hoạt động như một ứng dụng thay thế cho syslogd thông thường mà bạn biết và yêu thích. Bây giờ đây là trình nền syslog được lựa chọn cho Ubuntu và tôi nghĩ Red Hat & Fedora cũng có thể đi theo con đường đó. Tôi đã tìm thấy rất nhiều dễ dàng hơn để đứng dậy và chạy và làm những gì bạn muốn đó là syslog-ng.

Hiện tại trong cửa hàng của chúng tôi, chúng tôi đã có hai máy chủ rsyslog trung tâm (một trong mỗi trang web) nhận nhật ký cho hàng trăm máy chủ. Tôi đã nhận được thông báo email tự động bất cứ khi nào một cái gì đó trong syslog kích hoạt cảnh báo hoặc cao hơn (tất nhiên với một số điều chỉnh, một số ứng dụng hơi báo động một chút). Tôi có thể có thể làm một số thông minh hơn như nhận nó để gửi đồ đến nagios hoặc như vậy nhưng nó đủ cho chúng tôi đủ cho nhu cầu của chúng tôi bây giờ.

Tất cả điều này cũng đi vào cơ sở dữ liệu mysql (cũng có hỗ trợ cho Oracle hoặc postgresql nếu đó là cách bạn cuộn).

Ngoài ra còn có một lối vào web và một tác nhân windows để gửi nhật ký Eventlog đến máy chủ rsyslog. Giao diện web rõ ràng không trơn tru như splunk nhưng nó hoàn thành công việc với giá 0 đồng.

Hãy xem http://www.codeplex.com/polymon

Nguồn mở của nó, sử dụng SQL Server ở phần cuối và có giao diện người dùng ưa thích

Tôi đồng ý rằng Splunk là tuyệt vời. Tuy nhiên, đối với các môi trường Linux nhỏ, chiếm ưu thế, bạn có thể muốn xem xét một cái gì đó như epylog .

Chúng tôi đã sử dụng nó tại một trong những nơi tôi từng làm việc, và thật tuyệt vời cho những gì chúng tôi muốn.

Không chắc chắn nó sẽ xử lý tốt các thông báo nhật ký hệ thống Windows được gửi đến trình thu thập nhật ký hệ thống Linux như thế nào, nhưng có thể đáng để thử.

Chỉ cần liên kết với câu trả lời của tôi trong đó:

Splunk là rất đắt tiền: các lựa chọn thay thế là gì?

Chỉnh sửa (dự án mới):

Các LogStash và Graylog2 dự án trông rất thú vị

Dưới đây là một vài Video: một hai .

Một cái gì đó như GFI EventsManager có thể thực hiện thủ thuật với giá khoảng 4k đô la.

• Phân tích nhật ký sự kiện bao gồm Bẫy SNMP, Nhật ký sự kiện Windows, Nhật ký W3C và Syslog
• Bao gồm cảnh báo thời gian thực, cảnh báo bẫy SNMPv2
• Xem báo cáo về thông tin bảo mật chính xảy ra ngay bây giờ
• Ghi nhật ký sự kiện tập trung
• Xóa tiếng ồn Tiếng Việt hoặc các sự kiện tầm thường chiếm tỷ lệ lớn trong tất cả các sự kiện bảo mật
• Theo dõi và cảnh báo 24 x 7 x 365 ngày thời gian thực
• Theo dõi đồ họa trạng thái của Trình quản lý sự kiện GFI và mạng của bạn thông qua trình theo dõi trạng thái tích hợp
• Hỗ trợ cho môi trường ảo

Nếu bạn đang tìm kiếm một sự thay thế SysLog, bạn cũng có thể muốn xem xét một sự thay thế syslog / rsyslog thương mại như LogLogic, http://loglogic.com . Chúng tôi (nơi tôi làm việc) có một bộ báo cáo, lưu trữ và báo cáo đầy đủ tính năng của thiết bị. Về cơ bản, khả năng thu thập 100.000 tin nhắn mỗi giây, tìm kiếm và lập chỉ mục chúng để tìm kiếm có thể được thực hiện.

Bạn có thể thử logscape từ liquidlabs - rất giống với splunk nhưng cũng có một vài tính năng khác nhau .... http: //www.l Liquidlabs-cloud.com/products/logscape.html

Tôi đã làm điều phụ trợ SQL ở một công việc trước đó (đó là MySQL), hoàn thành với các tập lệnh, giao diện Drupal với các tập lệnh PHP tùy chỉnh, các công việc.

Thành thật mà nói, nó đã mất quá nhiều giờ và vẫn không bị Splunk.

Hiện tại, tôi đang thử nghiệm Splunk thay thế. Vâng, nó không miễn phí, nhưng nhìn vào bức tranh lớn, nó thực sự có thể rẻ hơn.

Bạn đã thử php-syslog-ng chưa? http://code.google.com.vn/p/php-syslog-ng/

Tôi đã đăng chủ đề dupe: Splunk rất đắt: Các lựa chọn thay thế là gì?

xpolog và tất cả các giải pháp thương mại nghiêm túc đều LỚN (ngay cả khi ít hơn splunk, hầu hết đều dễ dàng có 5 chữ số!)

Sooooo, những gì chúng ta cuối cùng đã làm (vì splunk quá nhiều $):

1) Chúng tôi muốn một syslog đơn giản để đường dẫn db sql

2) Chúng tôi đã thử syslog kiwi. Điều này hoạt động rất tốt trong một tuần, ngừng hoạt động và hỗ trợ kiwi không thể khắc phục nó. Vì vậy, chúng tôi đã bỏ kiwi

3) Chúng tôi đã thử winyslog. Một con chó già của một ứng dụng, chúng tôi không muốn học nó.

4) Chúng tôi đã sử dụng ứng dụng .net miễn phí này: http://www.aonkn.com/syslog.htm

Voila. Chúng tôi có các thông báo nhật ký hệ thống trong db của chúng tôi.

Chúng tôi rất hạnh phúc. $ 0 chi tiêu, một số giờ, nhưng không quá nhiều.

Chúng tôi đang sử dụng Splunk ở đây và tôi bị sốc bởi giá họ nói với bạn. Sự cố cơ bản mà chúng tôi đã đưa ra ở đâu đó khoảng $ 1k US cho mỗi 1 GB dữ liệu. Nó tốn kém, nhưng siêu mạnh mẽ và thực sự nhanh chóng để phát triển với. Tùy thuộc vào nguồn dữ liệu của bạn và những gì bạn muốn làm với chúng, một số tập lệnh python và perl có thể cung cấp cho bạn rất nhiều dữ liệu tương tự. Sự khác biệt lớn sẽ là thời gian và học cách thực sự sử dụng ngôn ngữ để xử lý văn bản. Bạn cũng sẽ không thể có được thông tin IP thời gian thực (những thứ như syslog), mặc dù bạn có thể khắc phục điều này bằng cách lấy một syslogger và đưa thông tin vào một tệp văn bản. Xin lỗi tôi không thể hướng bạn đến bất kỳ giải pháp cụ thể nào; những gì chúng ta không thể sử dụng splunk cho chúng ta sử dụng các kịch bản python, perl và bash cho.

ELSA - Lưu trữ và tìm kiếm nhật ký doanh nghiệp

Những đặc điểm chính:

• Tìm kiếm toàn văn trên bất kỳ từ nào trong một tin nhắn hoặc trường được phân tích cú pháp.
• Nhóm theo bất kỳ lĩnh vực nào và tạo báo cáo dựa trên kết quả.
• Lịch trình tìm kiếm.
• Thông báo về lượt truy cập tìm kiếm trên nhật ký mới.
• Lưu tìm kiếm, email lưu kết quả tìm kiếm.
• Tạo vé sự cố dựa trên kết quả tìm kiếm (có plugin).
• Hoàn thành hệ thống plugin cho kết quả.
• Xuất kết quả dưới dạng permalink hoặc trong Excel, PDF, CSV và HTML.
• Tích hợp LDAP đầy đủ cho các quyền.
• Thống kê cho các truy vấn của người dùng và kích thước nhật ký và số lượng.
• Kiến trúc phân tán đầy đủ, có thể xử lý n nút với tất cả các truy vấn thực thi song song.
• Lưu trữ nén với tỷ lệ tốt hơn 10: 1.

Chi tiết hiệu suất:

Để xác định một hệ thống, theo thứ tự quan trọng: kích thước đĩa, RAM, tốc độ ổ đĩa, số CPU. Yếu tố hiệu suất ghi đè là trình chỉ mục và trình nền tìm kiếm của Sphinx, vì vậy hãy tham khảo sphinxsearch.com để tìm tài liệu. Số liệu thống kê đã cho của tôi được lấy từ các hệ thống lớn (16 CPU, RAM 144 GB, HD 12 TB), nhưng bạn sẽ có hiệu suất tương tự trên hệ thống với 4 CPU, RAM 8 GB và bất kỳ kích thước HD nào theo quy mô tuyến tính. Hệ thống này lần đầu tiên chạy trên các lưỡi IBM với RAM 4 GB và ổ SAN chậm và hoạt động với tốc độ tương đương, nhưng 4 GB đang cắt giảm một chút.

Chi tiết hiệu suất và danh sách các tính năng chính, cộng với mô tả về kiến ​​trúc: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

Mã: https://code.google.com.vn/p/enterprise-log-search-and-archive/

VM: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-av Available.html

Chi tiết liên quan đến dự án: http://ossectools.blogspot.com/2011/03/comp toàn diện-log-collection.html

Nếu bạn đang tìm kiếm một giải pháp thay thế hợp lý hơn nhiều cho Splunk - hãy thử LogZilla ( http://www.logzilla.pro ). Nó có tỷ lệ tốt hoặc tốt hơn Splunk (bạn có thể tìm kiếm hơn 300m nhật ký trong khoảng 1-2 giây) và dễ dàng bằng 1/10 chi phí. Họ có bản demo chạy tại http://demo.logzilla.pro