Tôi gửi tin nhắn chuỗi tới Kafka V. 0.8 bằng Java Producer API. Nếu kích thước thư khoảng 15 MB, tôi nhận được a MessageSizeTooLargeException. Tôi đã cố gắng đặt message.max.bytesthành 40 MB, nhưng tôi vẫn nhận được ngoại lệ. Các tin nhắn nhỏ hoạt động mà không có vấn đề gì.
(Ngoại lệ xuất hiện trong nhà sản xuất, tôi không có người tiêu dùng trong ứng dụng này.)
Tôi có thể làm gì để thoát khỏi ngoại lệ này?
Cấu hình nhà sản xuất mẫu của tôi
private ProducerConfig kafkaConfig() {
Properties props = new Properties();
props.put("metadata.broker.list", BROKERS);
props.put("serializer.class", "kafka.serializer.StringEncoder");
props.put("request.required.acks", "1");
props.put("message.max.bytes", "" + 1024 * 1024 * 40);
return new ProducerConfig(props);
}Nhật ký lỗi:
4709 [main] WARN kafka.producer.async.DefaultEventHandler - Produce request with correlation id 214 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
4869 [main] WARN kafka.producer.async.DefaultEventHandler - Produce request with correlation id 217 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5035 [main] WARN kafka.producer.async.DefaultEventHandler - Produce request with correlation id 220 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5198 [main] WARN kafka.producer.async.DefaultEventHandler - Produce request with correlation id 223 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5305 [main] ERROR kafka.producer.async.DefaultEventHandler - Failed to send requests for topics datasift with correlation ids in [213,224]
kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
at kafka.producer.async.DefaultEventHandler.handle(Unknown Source)
at kafka.producer.Producer.send(Unknown Source)
at kafka.javaapi.producer.Producer.send(Unknown Source)
5
Bản năng đầu tiên của tôi là yêu cầu bạn chia thông điệp khổng lồ này thành nhiều tin nhắn nhỏ hơn: - / Tôi đoán là điều này không thể xảy ra vì lý do nào đó nhưng bạn có thể muốn xem xét lại: Thông báo lớn thường có nghĩa là có một lỗ hổng thiết kế một nơi nào đó thực sự nên được sửa chữa.
—
Aaron Digulla
Cảm ơn, nhưng nó sẽ làm cho logic của tôi phức tạp hơn rất nhiều. Tại sao lại là một ý tưởng tồi khi sử dụng Kafka cho các tin nhắn có dung lượng khoảng 15MB? 1 MB có phải là giới hạn kích thước thư tối đa có thể được sử dụng không? Tôi không tìm thấy nhiều thông tin về giới hạn kích thước thư trong tài liệu Kafka.
—
Sonson123
Điều này hoàn toàn không liên quan đến Kafka hay bất kỳ hệ thống xử lý tin nhắn nào khác. Lý do của tôi: Nếu có vấn đề gì xảy ra với tệp 15MB của bạn, thì việc dọn dẹp đống lộn xộn sau đó sẽ rất tốn kém. Đó là lý do tại sao tôi thường chia các tệp lớn thành nhiều công việc nhỏ hơn (sau đó cũng có thể được thực hiện song song).
—
Aaron Digulla
bạn đã sử dụng bất kỳ nén nào chưa? bạn có thể vui lòng chia sẻ một số chi tiết, kinda của nó khó có thể đoán một cái gì đó ra khỏi chỉ là một từ duy nhất
—
user2720864