Làm thế nào tốt nhất để theo dõi logstash?

Tôi đã thấy câu hỏi này trong danh sách gửi thư một vài lần nhưng không có câu trả lời thỏa đáng.

Làm thế nào tốt nhất để theo dõi rằng đường ống không bị kẹt? Khách hàng -> logstash -> elaticsearch.

Logstash và đặc biệt là elaticsearch dễ bị chết đói tài nguyên. Cả hai đều tuyệt vời trong việc chọn nơi họ rời đi, nhưng chính xác thì mọi người đang theo dõi họ như thế nào?

Ý kiến ​​hoan nghênh.

Cá nhân tôi thực sự kiểm tra rằng redis vẫn còn tồn tại trên máy chủ ghi nhật ký trung tâm, là thượng nguồn của LS + ES.

tức là: redis-cli llen logstashít hơn một số số cố định.

Điều này có thể không chỉ ra rằng các bản ghi đang xuất hiện trong redis, nhưng điều đó có thể được kiểm tra quá tôi đoán.

Một cái gì đó như kiểm tra mà redis-cli info | grep total_commands_processedtiếp tục tăng, có thể?

Tôi sử dụng zabbix trong môi trường của mình, nhưng tôi cho rằng phương pháp này cũng có thể hoạt động trong các thiết lập khác. Tôi đã cấu hình lệnh sau mà zabbix được phép sử dụng:

UserParameter=elasticsearch.commits,/usr/bin/curl -s 'localhost:9200/_cat/count?v' | /bin/sed -n '2p' | /bin/awk '{print $3}'

Điều này sẽ trả về tổng số hồ sơ elaticsearch đã cam kết. Vì vậy, tôi lấy giá trị này và chia cho số giây kể từ khi tôi lấy mẫu cuối cùng (tôi kiểm tra mỗi phút), nếu con số này giảm xuống dưới một giới hạn tùy ý tôi có thể cảnh báo nó. Tôi cũng sử dụng zabbix để kiểm tra xem liệu logstash PID có bị chết hay không và cũng cảnh báo điều đó và chạy lệnh sau:

UserParameter=elasticsearch.health,/usr/bin/curl -s 'http://localhost:9200/_cluster/health?pretty=true' | /bin/sed -n '3p' | /bin/awk -F'\"' '{print $4}' | /bin/sed s/yellow/0/ | /bin/sed s/green/0/ | /bin/sed s/red/1/

Điều này sẽ trở lại 1 nếu sức khỏe của cụm đã chuyển sang màu đỏ (vàng và xanh lá cây vẫn ổn), mà tôi cũng có thể cảnh báo.

Kiểm tra xem các nhật ký mỗi giây tại điểm cuối cuối cùng của bạn (ví dụ: elaticsearch) nằm trên một số đường cơ sở.

Đó là, thực hiện kiểm tra từ đầu đến cuối, nếu kết quả cuối cùng của bạn hoạt động chính xác, bạn biết rằng tất cả các bước trong đường ống hoạt động chính xác.

Nếu bạn thường xuyên gặp vấn đề, hoặc cần hướng nội tốt hơn, hãy bắt đầu thiết bị đo từng phần của đường ống như redis như đề xuất ở trên.

Chúng tôi sử dụng một số phương pháp:

1. Monit , để nghe các cổng đàn hồi và logstash và khởi động lại chúng
2. Đối với các trường hợp khi có điều gì đó xấu xảy ra và mọi thứ diễn ra từ tương lai, nhưng nhật ký không được sử dụng / lưu trữ, có một tập lệnh đơn giản, kiểm tra chỉ số hoạt động mỗi giờ và cảnh báo trong trường hợp số lượng tài liệu không thay đổi trong giờ trước.