Làm cách nào tôi có thể tự động phát hiện các trường hợp dựa trên độ trễ của chủ đề Kafka?

Tôi có các nhóm tự động hóa mà tôi muốn tự động tăng / giảm quy mô dựa trên mức độ trễ hiển thị trong các chủ đề Kafka nhất định. Có mối quan hệ 1: 1 giữa chủ đề và nhóm tự động hóa cần được thu nhỏ. Tôi khá chắc chắn rằng tôi không thể sử dụng số liệu CloudWatch để tiếp cận điều này.

Có cách nào tôi có thể thực hiện điều này bằng cách sử dụng Jenkins mà không tạo ra các điều kiện chủng tộc và các vấn đề khác không?

Lưu ý: Ứng dụng của tôi không bị ràng buộc bởi CPU, Đĩa I / O hoặc bất kỳ số liệu nào khác do CloudWatch cung cấp; hạn chế là khả năng của ứng dụng xử lý từ các chủ đề Kafka sắp tới.

CloudWatch hoàn toàn là cách để đi về phía trước này, bạn có thể hiển thị Số liệu Kafka trong CloudWatch bằng cách:

1. Có một quy trình riêng biệt đẩy các số liệu vào CloudWatch.
2. Yêu cầu Nhà sản xuất, Người tiêu dùng hoặc Bộ xử lý luồng của bạn đẩy các số liệu bạn cần vào CloudWatch.

Quá trình bạn làm theo sẽ được chia thành:

1. Xuất bản số liệu tùy chỉnh .
2. Tạo cấu hình khởi chạy tự động .
3. Tạo Nhóm tự động và chính sách dựa trên số liệu tùy chỉnh của bạn.

Tùy thuộc vào mô hình chi phí của bạn, tôi cũng sẽ xem xét cách bạn có thể sử dụng các thể hiện tại chỗ để giảm chi phí, tức là nếu bạn có khối lượng công việc không quan trọng nhưng tính toán cao, hãy sử dụng Spot Instances như một phần của cấu hình tự động hóa.