ELK Stack (Logstash, Elaticsearch và Kibana) với máy chủ syslog từ xa đồng thời?

Tôi đang xây dựng một dịch vụ phân tích nhật ký để bắt đầu giám sát chủ yếu là Tường lửa pfSense, XenServer Hypervisors, máy chủ FreeBSD / Linux và máy chủ Windows của chúng tôi.

Có rất nhiều tài liệu trên internet về ngăn xếp ELK và cách làm cho nó hoạt động độc đáo. Nhưng tôi muốn sử dụng nó theo một cách khác, nhưng tôi không biết liệu đó là một giải pháp tốt hay chỉ lãng phí thời gian / không gian đĩa.

Tôi đã có một máy FreeBSD 10.2 hoạt động như một máy chủ syslog từ xa và ideia của tôi chỉ đơn giản là tập trung tất cả các bản ghi trên máy này và chúng là máy chủ syslog chuyển tiếp các bản ghi logstash-forwardertới máy chủ ELK.

Rõ ràng với tôi rằng phương pháp này sẽ đưa ra các yêu cầu về đĩa cho thiết lập này, nhưng mặt khác tôi sẽ chỉ có một máy logstash-forwarderđược cài đặt daemon, điều này có vẻ tốt với tôi.

Nhưng nói về vấn đề. Trình logstashphân tích cú pháp khớp [host]với tên máy chủ của máy chủ gửi thông điệp tường trình và trong phương pháp này chỉ có "máy chủ" hiển thị trên ELK, máy chủ nhật ký hệ thống từ xa.

Tôi biết rằng tôi có thể tùy chỉnh các cài đặt trên các logstashtệp cấu hình nhưng tôi không biết (và tôi không có kinh nghiệm để biết) nếu đây chỉ là một cài đặt đơn giản trên các trình phân tích cú pháp của nó nếu sẽ thỏa hiệp toàn bộ ELK kinh nghiệm.

Cuối cùng, tôi chỉ muốn một số lời khuyên về kiến trúc đăng nhập của mình và nếu nó sẽ hoạt động, hoặc nếu tôi nên đi mà không có tùy chọn khác.

Cảm ơn trước,

— Vinícius Ferrão
nguồn

Tôi chắc chắn những gì bạn muốn làm là có thể, nhưng chi tiết về định dạng bạn đang đăng nhập trên máy chủ syslog trung tâm, tỷ lệ đăng nhập, v.v. sẽ rất tuyệt. Ngoài ra, hỏi một câu hỏi cụ thể sẽ giúp bạn có câu trả lời tốt hơn nhiều so với việc nói "Tôi bị lạc, xin vui lòng giúp đỡ".

— GregL

Bạn đã xem xét Graylog? Bạn có thể sử dụng đầu vào syslog Graylog để nhập syslog vào elaticsearch. Từ đó bạn có thể sử dụng Kibana và Graylog có sẵn một trình trích xuất syslog / pfsense.

— davey

Logstash cũng có đầu vào syslog ...

— GregL

Đúng. Có thể thay đổi hosttrường trong đầu ra logstash bằng rubybộ lọc mà không gặp nhiều rắc rối.

    ruby {
            code => "
                    event['host'] = event['message'].split(' ')[3]
                   "
    }

Ở đây tôi giả sử trong nhật ký máy chủ nhật ký hệ thống, trường máy chủ là trường thứ tư trong đó khoảng trắng là dấu phân cách.

— 7171u
nguồn