Làm thế nào để có nhiều luồng nhật ký trong docker

Chúng tôi có một ứng dụng ghi ba loại nhật ký thành ba tệp riêng biệt: nhật ký truy cập, nhật ký ứng dụng chung và nhật ký hệ thống. Định dạng (và mục đích) của các bản ghi này rất khác nhau. Và chúng tôi có các logforward riêng biệt gửi chúng riêng cho hệ thống ghi nhật ký tập trung của chúng tôi.

Dựa trên các bản ghi xử lý như nguyên tắc luồng sự kiện , chúng tôi đang suy nghĩ về việc chuyển từ sử dụng tệp sang thiết bị xuất chuẩn. Mặc dù chúng tôi biết một số lợi ích của phương pháp này, điều này cũng có nghĩa là chúng tôi sẽ nhận được một luồng hợp nhất các nhật ký được định dạng khác nhau, mà chúng tôi sẽ cần phải phân tách lại trước khi chúng tôi có thể gửi chúng đến hệ thống trung tâm của mình (Kibana / Splunk / v.v.), hoặc bên trong đó.

Chúng tôi đang tự hỏi liệu có bất kỳ công cụ hoặc khuyến nghị nào về cách chúng ta nên tiếp cận tình huống này.

Tôi vẫn đang tìm kiếm một cách tiếp cận hợp nhất / tách bản thân mình, nhưng trong khi đó phương pháp này được tài liệu Kubernetes đề xuất có vẻ giống như một giải pháp âm thanh: Sử dụng thùng chứa sidecar cho mỗi bản ghi riêng biệt của bạn .

"Sidecar" là bất kỳ bộ chứa docker nào mà bạn sử dụng cùng với bộ chứa docker khác để làm việc với nó theo một cách nào đó. Trong trường hợp này cho mỗi ba bản ghi của bạn, bạn sẽ có một thùng chứa riêng biệt để quét hoặc theo dõi các bản ghi và đầu ra thành thiết bị xuất chuẩn.

Bằng cách này, mỗi container log-sidecar của bạn có docker-log riêng từ thiết bị xuất chuẩn của chính nó. Tách biệt như thế này, bạn có thể sử dụng các thực hành docker tiêu chuẩn (và kubernetes, v.v.) để phân tách hoặc tổng hợp. Đây là những gì trang Kubernetes nói:

Cách tiếp cận này cho phép bạn tách một số luồng nhật ký khỏi các phần khác nhau trong ứng dụng của bạn, một số trong đó có thể thiếu hỗ trợ để ghi vào thiết bị xuất chuẩn hoặc thiết bị xuất chuẩn. Logic đằng sau các bản ghi chuyển hướng là tối thiểu, do đó, nó hầu như không phải là một chi phí đáng kể. Ngoài ra, vì thiết bị xuất chuẩn và thiết bị xuất chuẩn được xử lý bởi kubelet, bạn có thể sử dụng các công cụ tích hợp như nhật ký kubectl.

"Luồng nhật ký riêng biệt" xuất phát từ việc gắn thẻ tích hợp mà docker áp dụng cho các bản ghi từ các container khác nhau, được mô tả trong tài liệu về docker tại đây:

Tùy chọn nhật ký thẻ chỉ định cách định dạng thẻ xác định thông điệp nhật ký của người chứa. Theo mặc định, hệ thống sử dụng 12 ký tự đầu tiên của id container. Để ghi đè hành vi này, chỉ định một tùy chọn thẻ

Ý tưởng hợp nhất chúng thành một luồng chỉ để phân chia chúng sau này nghe có vẻ đau đớn. Tôi không có lý do để tự làm việc này, nhưng đây là nơi tôi bắt đầu:

• Khi bạn chạy bộ chứa docker, hãy tạo một âm lượng sao cho dễ xem / gửi nhật ký từ máy chủ.
• Sử dụng một cái gì đó như remote_syslog2 để gửi nhật ký đến trình thu thập nhật ký của bạn

Bạn cảm thấy hơi kém lịch sự khi phải thực hiện một số thiết lập trên máy chủ, nhưng nếu bạn sử dụng một cái gì đó giống như nơi bạn có thể chạy một cuốn sách và thiết lập nó trong khi triển khai vào hộp thì cũng không nên xấu.