Làm thế nào để xử lý nhiều đầu vào không đồng nhất với Logstash?

Giả sử bạn có 2 loại nhật ký rất khác nhau, chẳng hạn như nhật ký kinh doanh và kỹ thuật và bạn muốn:

• nhật ký kỹ thuật thô được chuyển đến máy chủ greylog2 bằng cách sử dụng gelfđầu ra,
• nhật ký kinh doanh json được lưu trữ vào một cụm tìm kiếm đàn hồi bằng cách sử dụng elasticsearch_httpđầu ra chuyên dụng .

Tôi biết rằng với Syslog-NGví dụ, tệp cấu hình cho phép xác định một số đầu vào riêng biệt mà sau đó có thể được xử lý riêng trước khi gửi đi; điều Logstashdường như không thể làm được. Ngay cả khi một phiên bản có thể được khởi tạo bằng hai tệp cấu hình cụ thể, tất cả các bản ghi đều có cùng một kênh và đang được áp dụng cùng một quy trình ...

Tôi có nên chạy bao nhiêu phiên bản vì tôi có các loại nhật ký khác nhau không?

Tôi có nên chạy bao nhiêu phiên bản vì tôi có các loại nhật ký khác nhau không?

Không! Bạn chỉ có thể chạy một phiên bản để xử lý các loại nhật ký khác nhau.

Trong tệp cấu hình logstash, bạn có thể xác định từng đầu vào với kiểu khác nhau . Sau đó, trong bộ lọc, bạn có thể sử dụng if để phân biệt các xử lý khác nhau và cũng tại đầu ra, bạn có thể sử dụng đầu ra "if" cho đích khác.

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

Hy vọng điều này có thể giúp bạn :)

Tôi đã sử dụng các thẻ để nhập nhiều tệp:

input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

Tôi nghĩ rằng logstash không thể đọc nhiều hơn 2 tệp trong phần Đầu vào. thử cái bên dưới

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}