Chủ đề thanh trừng Kafka

Có cách nào để thanh lọc chủ đề trong kafka?

Tôi đã đẩy một tin nhắn quá lớn vào chủ đề tin nhắn kafka trên máy cục bộ của mình, bây giờ tôi đang gặp lỗi:

kafka.common.InvalidMessageSizeException: invalid message size

Tăng fetch.sizekhông phải là lý tưởng ở đây, vì tôi thực sự không muốn chấp nhận những tin nhắn lớn như vậy.

Tạm thời cập nhật thời gian lưu về chủ đề lên một giây:

kafka-topics.sh --zookeeper <zkhost>:2181 --alter --topic <topic name> --config retention.ms=1000

Và trong các bản phát hành Kafka mới hơn, bạn cũng có thể làm điều đó với kafka-configs --entity-type topics

kafka-configs.sh --zookeeper <zkhost>:2181 --entity-type topics --alter --entity-name <topic name> --add-config retention.ms=1000

sau đó chờ thanh trừng có hiệu lực (khoảng một phút). Sau khi thanh trừng, khôi phục retention.msgiá trị trước đó .

Để xóa hàng đợi, bạn có thể xóa chủ đề:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

sau đó tạo lại nó:

bin/kafka-topics.sh --create --zookeeper localhost:2181 \
    --replication-factor 1 --partitions 1 --topic test

Dưới đây là các bước tôi làm theo để xóa một chủ đề có tên MyTopic:

1. Mô tả chủ đề và không lấy id của người môi giới
2. Dừng trình nền Kafka Apache cho mỗi ID nhà môi giới được liệt kê.
3. Kết nối với mỗi nhà môi giới và xóa thư mục dữ liệu chủ đề, vd rm -rf /tmp/kafka-logs/MyTopic-0 . Lặp lại cho các phân vùng khác và tất cả các bản sao
4. Xóa siêu dữ liệu chủ đề: zkCli.sh sau đórmr /brokers/MyTopic
5. Khởi động trình nền Kafka Apache cho mỗi máy đã dừng

Nếu bạn nhớ bạn bước 3, thì Apache Kafka sẽ tiếp tục báo cáo chủ đề như hiện tại (ví dụ khi bạn chạy kafka-list-topic.sh ).

Đã thử nghiệm với Apache Kafka 0.8.0.

Trong khi câu trả lời được chấp nhận là chính xác, phương pháp đó đã không được chấp nhận. Cấu hình chủ đề bây giờ nên được thực hiện thông qua kafka-configs.

kafka-configs --zookeeper localhost:2181 --entity-type topics --alter --add-config retention.ms=1000 --entity-name MyTopic

Các cấu hình được đặt thông qua phương thức này có thể được hiển thị bằng lệnh

kafka-configs --zookeeper localhost:2181 --entity-type topics --describe --entity-name MyTopic

Đã thử nghiệm trong Kafka 0.8.2, cho ví dụ bắt đầu nhanh: Đầu tiên, Thêm một dòng vào tệp server.properIES trong thư mục cấu hình:

delete.topic.enable=true

Sau đó, bạn có thể chạy lệnh này:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

Từ kafka 1.1

Thanh lọc một chủ đề

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --add-config retention.ms=100

Đợi 1 phút, để đảm bảo rằng kafka sẽ xóa chủ đề xóa cấu hình và sau đó chuyển đến giá trị mặc định

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --delete-config retention.ms

kafka không có phương pháp trực tiếp cho chủ đề thanh lọc / dọn dẹp (Hàng đợi), nhưng có thể thực hiện việc này bằng cách xóa chủ đề đó và tạo lại chủ đề đó.

đầu tiên hãy chắc chắn rằng tập tin sever.properies có và nếu không thêm delete.topic.enable=true

sau đó, xóa chủ đề bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic myTopic

sau đó tạo lại nó

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic myTopic --partitions 10 --replication-factor 2

Đôi khi, nếu bạn đã có một cụm bão hòa (quá nhiều phân vùng hoặc sử dụng dữ liệu chủ đề được mã hóa hoặc sử dụng SSL hoặc bộ điều khiển nằm trên một nút xấu hoặc kết nối không ổn định, sẽ mất nhiều thời gian để lọc chủ đề đã nói .

Tôi làm theo các bước này, đặc biệt nếu bạn đang sử dụng Avro.

1: Chạy với các công cụ kafka:

bash kafka-configs.sh --alter --entity-type topics --zookeeper zookeeper01.kafka.com --add-config retention.ms=1 --entity-name <topic-name>

2: Chạy trên nút đăng ký Schema:

kafka-avro-console-consumer --consumer-property security.protocol=SSL --consumer-property ssl.truststore.location=/etc/schema-registry/secrets/trust.jks --consumer-property ssl.truststore.password=password --consumer-property ssl.keystore.location=/etc/schema-registry/secrets/identity.jks --consumer-property ssl.keystore.password=password --consumer-property ssl.key.password=password --bootstrap-server broker01.kafka.com:9092 --topic <topic-name> --new-consumer --from-beginning

3: Đặt duy trì chủ đề trở lại cài đặt ban đầu, khi chủ đề trống.

bash kafka-configs.sh --alter --entity-type topics --zookeeper zookeeper01.kafka.com --add-config retention.ms=604800000 --entity-name <topic-name>

Hy vọng điều này sẽ giúp được ai đó, vì nó không dễ dàng được quảng cáo.

CẬP NHẬT: Câu trả lời này có liên quan đến Kafka 0.6. Đối với Kafka 0.8 và sau đó xem câu trả lời của @Patrick.

Có, dừng kafka và xóa thủ công tất cả các tệp khỏi thư mục con tương ứng (thật dễ dàng tìm thấy nó trong thư mục dữ liệu kafka). Sau khi kafka khởi động lại, chủ đề sẽ trống.

Cách tiếp cận đơn giản nhất là đặt ngày của các tệp nhật ký riêng lẻ cũ hơn thời gian lưu. Sau đó, người môi giới sẽ dọn sạch chúng và loại bỏ chúng cho bạn trong vòng vài giây. Điều này cung cấp một số lợi thế:

1. Không cần phải hạ nhà môi giới, đó là một hoạt động thời gian chạy.
2. Tránh khả năng ngoại lệ bù không hợp lệ (nhiều hơn ở bên dưới).

Theo kinh nghiệm của tôi với Kafka 0.7.x, việc xóa các tệp nhật ký và khởi động lại nhà môi giới có thể dẫn đến các ngoại lệ bù không hợp lệ cho một số người tiêu dùng nhất định. Điều này sẽ xảy ra bởi vì nhà môi giới khởi động lại các giá trị bù ở mức 0 (trong trường hợp không có bất kỳ tệp nhật ký hiện có nào) và một người tiêu dùng đã tiêu thụ trước đó từ chủ đề sẽ kết nối lại để yêu cầu một khoản bù [cụ thể]. Nếu phần bù này xảy ra nằm ngoài giới hạn của nhật ký chủ đề mới, thì không có hại và người tiêu dùng sẽ tiếp tục ở đầu hoặc cuối. Nhưng, nếu phần bù nằm trong giới hạn của nhật ký chủ đề mới, người môi giới cố gắng tìm nạp bộ thông báo nhưng không thành công vì phần bù không phù hợp với thông điệp thực tế.

Điều này có thể được giảm nhẹ bằng cách xóa các khoản bù đắp của người tiêu dùng trong vườn thú cho chủ đề đó. Nhưng nếu bạn không cần một chủ đề mới và chỉ muốn xóa nội dung hiện có, thì chỉ cần 'chạm vào' một vài nhật ký chủ đề sẽ dễ dàng và đáng tin cậy hơn nhiều so với việc dừng môi giới, xóa nhật ký chủ đề và xóa một số nút của người quản lý vườn thú .

Lời khuyên của Thomas rất hay nhưng thật không may zkClitrong các phiên bản cũ của Zookeeper (ví dụ 3.3.6) dường như không hỗ trợ rmr. Ví dụ, so sánh việc thực hiện dòng lệnh trong Zookeeper hiện đại với phiên bản 3.3 .

Nếu bạn phải đối mặt với một phiên bản cũ của Zookeeper, một giải pháp là sử dụng thư viện máy khách như zc.zk cho Python. Đối với những người không quen thuộc với Python, bạn cần cài đặt nó bằng pip hoặc easy_install . Sau đó khởi động shell Python ( python) và bạn có thể làm:

import zc.zk
zk = zc.zk.ZooKeeper('localhost:2181')
zk.delete_recursive('brokers/MyTopic') 

hoặc thậm chí

zk.delete_recursive('brokers')

nếu bạn muốn xóa tất cả các chủ đề khỏi Kafka.

Để dọn sạch tất cả các tin nhắn từ một chủ đề cụ thể bằng nhóm ứng dụng của bạn (GroupName phải giống với tên nhóm kafka của ứng dụng).

./kafka-path/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topicName --from-beginning --group application-group

Theo câu trả lời của @steven appleyard, tôi đã thực hiện các lệnh sau trên Kafka 2.2.0 và chúng đã làm việc cho tôi.

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --describe

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --alter --add-config retention.ms=1000

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --alter --delete-config retention.ms

Rất nhiều câu trả lời tuyệt vời ở đây nhưng trong số đó, tôi không tìm thấy câu trả lời nào về docker. Tôi đã dành một chút thời gian để nhận ra rằng việc sử dụng container môi giới là sai đối với trường hợp này (rõ ràng !!!)

## this is wrong!
docker exec broker1 kafka-topics --zookeeper localhost:2181 --alter --topic mytopic --config retention.ms=1000

Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
        at kafka.zookeeper.ZooKeeperClient.$anonfun$waitUntilConnected$3(ZooKeeperClient.scala:258)
        at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
        at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:253)
        at kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:254)
        at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:112)
        at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1826)
        at kafka.admin.TopicCommand$ZookeeperTopicService$.apply(TopicCommand.scala:280)
        at kafka.admin.TopicCommand$.main(TopicCommand.scala:53)
        at kafka.admin.TopicCommand.main(TopicCommand.scala)

và tôi nên sử dụng zookeeper:2181thay vì --zookeeper localhost:2181theo tập tin soạn thảo của tôi

## this might be an option, but as per comment below not all zookeeper images can have this script included
docker exec zookeper1 kafka-topics --zookeeper localhost:2181 --alter --topic mytopic --config retention.ms=1000

lệnh chính xác sẽ là

docker exec broker1 kafka-configs --zookeeper zookeeper:2181 --alter --entity-type topics --entity-name dev_gdn_urls --add-config retention.ms=12800000

Hy vọng nó sẽ tiết kiệm thời gian của ai đó.

Ngoài ra, hãy lưu ý rằng các tin nhắn sẽ không bị xóa ngay lập tức và nó sẽ xảy ra khi đoạn nhật ký sẽ bị đóng.

Không thể thêm dưới dạng nhận xét vì kích thước: Không chắc chắn điều này có đúng không, ngoài việc cập nhật retained.ms và retained.bytes, nhưng tôi nhận thấy chính sách dọn dẹp chủ đề nên là "xóa" (mặc định), nếu "compact", nó sẽ giữ tin nhắn lâu hơn, nghĩa là, nếu nó "nhỏ gọn", bạn cũng phải chỉ định xóa.retention.ms .

./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name test-topic-3-100 --entity-type topics
Configs for topics:test-topic-3-100 are retention.ms=1000,delete.retention.ms=10000,cleanup.policy=delete,retention.bytes=1

Cũng phải theo dõi các lần bù sớm nhất / muộn nhất phải giống nhau để xác nhận điều này xảy ra thành công, cũng có thể kiểm tra du -h / tmp / kafka-log / test-topic-3-100- *

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "BROKER:9095" --topic test-topic-3-100 --time -1 | awk -F ":" '{sum += $3} END {print sum}' 26599762

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "BROKER:9095" --topic test-topic-3-100 --time -2 | awk -F ":" '{sum += $3} END {print sum}' 26599762

Vấn đề khác là, bạn phải có cấu hình hiện tại trước để bạn nhớ hoàn nguyên sau khi xóa thành công: ./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name test-topic-3-100 --entity-type topics

Một cách tiếp cận khác, khá thủ công, để thanh trừng một chủ đề là:

trong môi giới:

1. dừng môi giới kafka
   sudo service kafka stop
2. xóa tất cả các tệp nhật ký phân vùng (nên được thực hiện trên tất cả các nhà môi giới)
   sudo rm -R /kafka-storage/kafka-logs/<some_topic_name>-*

trong vườn thú:

3. chạy giao diện dòng lệnh Zookeeper
   sudo /usr/lib/zookeeper/bin/zkCli.sh
4. sử dụng zkCli để xóa siêu dữ liệu chủ đề
   rmr /brokers/topic/<some_topic_name>

trong môi giới một lần nữa:

5. khởi động lại dịch vụ môi giới
   sudo service kafka start

./kafka-topics.sh --describe --zookeeper zkHost:2181 --topic myTopic

Điều này sẽ cung cấp cho retention.mscấu hình. Sau đó, bạn có thể sử dụng lệnh thay đổi ở trên để thay đổi thành 1 giây (và sau đó trở lại mặc định).

Topic:myTopic   PartitionCount:6        ReplicationFactor:1     Configs:retention.ms=86400000

Từ Java, sử dụng cái mới AdminZkClientthay vì không dùng nữa AdminUtils:

  public void reset() {
    try (KafkaZkClient zkClient = KafkaZkClient.apply("localhost:2181", false, 200_000,
        5000, 10, Time.SYSTEM, "metricGroup", "metricType")) {

      for (Map.Entry<String, List<PartitionInfo>> entry : listTopics().entrySet()) {
        deleteTopic(entry.getKey(), zkClient);
      }
    }
  }

  private void deleteTopic(String topic, KafkaZkClient zkClient) {

    // skip Kafka internal topic
    if (topic.startsWith("__")) {
      return;
    }

    System.out.println("Resetting Topic: " + topic);
    AdminZkClient adminZkClient = new AdminZkClient(zkClient);
    adminZkClient.deleteTopic(topic);

    // deletions are not instantaneous
    boolean success = false;
    int maxMs = 5_000;
    while (maxMs > 0 && !success) {
      try {
        maxMs -= 100;
        adminZkClient.createTopic(topic, 1, 1, new Properties(), null);
        success = true;
      } catch (TopicExistsException ignored) {
      }
    }

    if (!success) {
      Assert.fail("failed to create " + topic);
    }
  }

  private Map<String, List<PartitionInfo>> listTopics() {
    Properties props = new Properties();
    props.put("bootstrap.servers", kafkaContainer.getBootstrapServers());
    props.put("group.id", "test-container-consumer-group");
    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

    KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
    Map<String, List<PartitionInfo>> topics = consumer.listTopics();
    consumer.close();

    return topics;
  }