Mục đích của việc nhắn tin dựa trên cặp giá trị / khóa của Kafka là gì? [đóng cửa]

Tất cả các ví dụ của Kafka | các nhà sản xuất hiển thị ProducerRecordcặp khóa / giá trị của không chỉ là cùng một loại (tất cả các ví dụ đều hiển thị <String,String>), mà còn cùng một giá trị . Ví dụ:

producer.send(new ProducerRecord<String, String>("someTopic", Integer.toString(i), Integer.toString(i)));

Nhưng trong các tài liệu của Kafka, tôi dường như không thể tìm thấy khái niệm khóa / giá trị (và mục đích / tiện ích cơ bản của nó) được giải thích ở đâu. Trong nhắn tin truyền thống (ActiveMQ, RabbitMQ, v.v.), tôi luôn gửi tin nhắn theo một chủ đề / hàng đợi / trao đổi cụ thể. Nhưng Kafka là nhà môi giới đầu tiên có vẻ như yêu cầu các cặp khóa / giá trị thay vì chỉ một thông điệp chuỗi ole.

Vậy tôi hỏi: Mục đích / hữu ích của việc yêu cầu nhà sản xuất gửi cặp KV là gì?

Kafka sử dụng sự trừu tượng của một bản ghi phân tán bao gồm các phân vùng . Chia nhật ký thành các phân vùng cho phép mở rộng hệ thống.

Các phím được sử dụng để xác định phân vùng trong nhật ký mà thông báo được nối vào. Trong khi giá trị là trọng tải thực của tin nhắn. Các ví dụ thực sự không phải là rất "tốt" về vấn đề này; thường thì bạn sẽ có một kiểu phức tạp làm giá trị (như kiểu tuple hoặc JSON hoặc tương tự) và bạn sẽ trích xuất một trường làm khóa.

Xem: http://kafka.apache.org/intro#intro_topics và http://kafka.apache.org/intro#intro_producers

Nói chung, khóa và / hoặc giá trị cũng có thể là null. Nếu khóa là nullmột phân vùng ngẫu nhiên sẽ được chọn. Nếu giá trị là nullnó, nó có thể có ngữ nghĩa "xóa" đặc biệt trong trường hợp bạn bật log-compaction thay vì chính sách lưu giữ log cho một chủ đề ( http://kafka.apache.org/documentation#compaction ).

Bổ sung muộn ... Chỉ định khóa để tất cả các thư trên cùng một khóa đi đến cùng một phân vùng là rất quan trọng để có thứ tự xử lý thư phù hợp nếu bạn có nhiều người tiêu dùng trong một nhóm người tiêu dùng về một chủ đề.

Nếu không có khóa, hai thông báo trên cùng một khóa có thể đi đến các phân vùng khác nhau và được những người tiêu dùng khác nhau trong nhóm xử lý không theo thứ tự.

Một trường hợp sử dụng thú vị khác

Chúng tôi có thể sử dụng thuộc tính khóa trong các chủ đề của Kafka để gửi user_ids và sau đó có thể kết nối người tiêu dùng để tìm nạp các sự kiện phát trực tuyến (các sự kiện được lưu trữ trong các thuộc tính giá trị). Điều này có thể cho phép bạn xử lý bất kỳ lịch sử tối đa nào của chuỗi sự kiện của người dùng để tạo các tính năng trong mô hình học máy của bạn.

Tôi vẫn phải tìm hiểu xem điều này có khả thi hay không. Sẽ tiếp tục cập nhật câu trả lời của tôi với các chi tiết khác.