Apache Kafka Komutları

Giriş

Bazı komutlar şöyle. Kafka CLI komutları sağlıyor, ancak mesajları GUI'den görmek için "Kafka Lens" kullanılabilir

kafka-topics - Topic yaratır, siler, listeler ve değiştirir
kafka-console-consumer - Mesajları gösterir
kafka-console-producer - Mesaj gönderir
kafka-run-class

kafka-consumer-groups.sh komutu
Bir topic'i dinleyen consumer'ları gösterir. Aynı topic'i dinleyen consumer group'ları olabilir. Her topic farklı partition'lara ayrılabildiği için çıktıda group'ların hangi partition'ı dinlediği de görülür.
Örnek
Şöyle yaparız.

# ./kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092  --describe  
  --group ParserKafkaPipeline

Örnek
Şöyle yaparız. Burada my-topic'i dinleyen iki tane consumer group görülebilir.

root@8d49c1b2c3bf:/# kafka-consumer-groups --bootstrap-server localhost:9092 
--describe --all-groups

GROUP TOPIC  PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  CONSUMER-ID  HOST        CLIENT-ID
first my-topic  2          0               0            0    consumer-2   /172.18.0.9 consumer-2
first my-topic  0          0               0            0    consumer-2   /172.18.0.9 consumer-2
first my-topic  1          0               0            0    consumer-2   /172.18.0.9 consumer-2

GROUP TOPIC  PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  CONSUMER-ID  HOST        CLIENT-ID
second my-topic  0          0               0           0    consumer-2   /172.18.0.8 consumer-2
second my-topic  1          0               0           0    consumer-2   /172.18.0.8 consumer-2
second my-topic  2          0               0           0    consumer-2   /172.18.0.8 consumer-2

Açıklaması şöyle.

Sometimes it's useful to see the position of your consumers. We have a tool that will show the position of all consumers in a consumer group as well as how far behind the end of the log they are. To run this tool on a consumer group named my-group consuming a topic named my-topic