Bất cứ ai cũng biết về một công cụ để phát hiện và báo cáo về các mẫu lặp lại trong một tệp nhật ký? [đóng cửa]

Tôi cần theo dõi một số tệp nhật ký nhiễu lớn (500m / ngày) từ một ứng dụng Java (log4j). Ngay bây giờ tôi xem thủ công các tệp, grep cho "ERROR", v.v. Tuy nhiên, một công cụ có thể phát hiện các mẫu lặp lại trong tệp, đếm chúng và cung cấp chi tiết cho các mục riêng lẻ. Bất cứ ai cũng biết về một công cụ như vậy? Một giao diện người dùng dựa trên văn bản hoặc web sẽ là tốt đẹp.

Tôi đã nghe nói về những người áp dụng lọc Bayes trên các tệp nhật ký để phát hiện những thứ thú vị so với các mục nhật ký thông thường. Họ đã sử dụng các bộ lọc thư rác, trong đó các mục không quan tâm thường xuyên được coi là "tốt" trong khi các mục không bình thường được coi là "thư rác" và sử dụng màu đó họ có thể chuyển qua.

Nghe có vẻ giống như công cụ học máy đối với tôi, nhưng một lần nữa tôi đã không thấy nó hoạt động, chỉ nghe nói về nó qua các loại bia.

Splunk làm việc kỳ diệu cho loại công cụ này. Tôi sử dụng nó trong nội bộ để thu thập tất cả các bản ghi và thực hiện tìm kiếm nhanh thông qua giao diện dựa trên trình duyệt tuyệt vời của nó.

syslog-ng có một tính năng tên patterndb. Bạn có thể tạo các mẫu và khớp các mục nhật ký với chúng trong thời gian thực sau đó gửi các mục đó đến các tệp nhật ký riêng biệt.

Trong khi xem xét syslog-ng và patterndb (+1 cho câu trả lời đó, ở trên), tôi đã gặp một công cụ dựa trên web có tên ELSA: http://code.google.com.vn/p/enterprise-log-search-and-archive/ . Đó là F / OSS trong perl, với giao diện web và được cho là rất nhanh.

Tôi chưa thử, nhưng một khi tôi đã lọc xong bằng patterndb, tôi sẽ thử ELSA.

Hãy thử petit .
Tôi không chắc liệu nó có hoạt động với định dạng log4j hay không, nhưng bạn có thể viết một bộ lọc tùy chỉnh cho điều đó.
Petit không có giao diện web, nó hiển thị biểu đồ trong vỏ của bạn (ASCII art ftw!).
Rất hữu ích để nhanh chóng thấy các tin nhắn lặp lại và tìm ra khi chúng xảy ra hoặc bắt đầu xảy ra thường xuyên hơn.

Nếu bạn đang sử dụng debian / bóp trên máy chủ của mình, hãy xem log2mail: http://packages.debian.org/squeeze/log2mail

Glogg là một trình thám hiểm nhật ký rất tốt vì bạn có khả năng tạo cơ sở bộ lọc trên chuỗi và dòng màu hoặc truy xuất tất cả các lần xuất hiện thành một chuỗi.

http://glogg.bonnefon.org/

Splunk thường là một giải pháp tốt cho việc này. Nhưng bạn đã đề cập rằng nó quá đắt đối với bạn. Vì vậy, tôi khuyên bạn nên xem Logstash hoặc GrayLog .

Bạn có thể dùng thử LogXtender của SEQREL, tự động phát hiện các mẫu và tổng hợp các nhật ký tương tự. Cách thực hiện là bằng cách tạo các biểu thức thông thường một cách nhanh chóng và sử dụng biểu thức chính được lưu trong bộ nhớ cache để khớp với các bản ghi khác. Với phát hiện phân loại bổ sung, độ chi tiết cao hơn có thể được thêm vào. Có thể tải xuống phiên bản miễn phí trong https://try.logxtender.net .