Kafka: Liên tục nhận được FETCH_SESSION_ID_NOT_FOUND


9

Tôi liên tục nhận được FETCH_SESSION_ID_NOT_FOUND. Tôi không chắc tại sao nó lại xảy ra. Bất cứ ai có thể xin vui lòng cho tôi ở đây vấn đề là gì và những gì sẽ tác động đến người tiêu dùng và môi giới.

Nhật ký máy chủ Kafka:

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

Nhật ký người tiêu dùng Kafka:

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

Chi tiết cụm:

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only) 

Tôi nhận được lỗi tương tự với phiên bản máy khách Java Kafka 2.3.1. Có ai có ý tưởng nào?
Bert S.

@ BertS. Tăng giá trị nàymax.incremental.fetch.session.cache.slots
Hrishikesh Mishra

Xin chào @HrishikeshMishra đây là (giải pháp trên) giải pháp bạn tìm thấy cho vấn đề này? Bạn có xem xét thêm nó như một câu trả lời cho bài viết của bạn và nếu có thể với một chút giải thích. Tôi có cùng một vấn đề, tôi sẽ kiểm tra giải pháp trên của bạn.
Jorge Campos

Đây là nhật ký INFO. Ý nghĩa của việc bỏ qua nó là gì?
Bert S.

Câu trả lời:


1

Tăng giá trị của max.incremental.fetch.session.cache.slots. Giá trị mặc định là 1K, trong trường hợp của tôi, tôi đã tăng nó lên 10K và nó đã được sửa.


Đây có phải là một thiết lập trên các nhà môi giới?
Bert S.

Vâng, thiết lập môi giới của nó
Hrishikesh Mishra

Có điều gì đó có thể được thực hiện ở phía người tiêu dùng hoặc nhà sản xuất?
Bert S.

Không yêu cầu bất cứ điều gì ở cuối nhà sản xuất và người tiêu dùng.
Hrishikesh Mishra

Tôi thấy lỗi trên người tiêu dùng của tôi. Tôi không có quyền truy cập để sửa đổi chính nhà môi giới. Đây có nên là một mối quan tâm cho tôi?
Bert S.

0

Tôi đã tăng nó lúc đầu từ 1K lên 2K và trong bước thứ hai từ 2K lên 4K và miễn là giới hạn không bị cạn kiệt, không có lỗi xuất hiện:

nhập mô tả hình ảnh ở đây

nhập mô tả hình ảnh ở đây

Vì dường như tôi bị rò rỉ phiên bởi một người tiêu dùng không xác định nào đó, tôi chưa thử giới hạn 10K, nhưng đọc câu trả lời của Hrishikesh Mishra, tôi chắc chắn sẽ làm được. Bởi vì, việc tăng giới hạn cũng làm giảm tần suất lỗi, vì vậy câu hỏi về việc xác định các nhóm người tiêu dùng cá nhân đang mở quá nhiều phiên tìm nạp gia tăng, được đề cập ở đây Làm thế nào để kiểm tra số lượng khe cắm bộ đệm phiên tìm nạp gia tăng thực tế được sử dụng trong cụm Kafka? , có thể không liên quan cuối cùng.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.