kafka命令大全

半兽人 发表于: 2016-10-25   最后更新时间: 2016-10-25  
  •   68 订阅,4229 游览

整理kafka相关的常用命令

创建主题(4个分区,2个副本)
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test
查询集群描述
bin/kafka-topics.sh --describe --zookeeper 
生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费者
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test
新生产者(支持0.9版本+)
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --producer.config config/producer.properties
新消费者(支持0.9版本+)
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --new-consumer --from-beginning --consumer.config config/consumer.properties
新消费者列表查询(支持0.9版本+)
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list
显示某个消费组的消费详情(仅支持offset存储在zookeeper上的)
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zkconnect localhost:2181 --group test
显示某个消费组的消费详情(支持0.9版本+)
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group test-consumer-group
平衡leader
bin/kafka-preferred-replica-election.sh --zookeeper zk_host:port/chroot
kafka自带压测命令
bin/kafka-producer-perf-test.sh --topic test --num-records 100 --record-size 1 --throughput 100  --producer-props bootstrap.servers=localhost:9092






发表于: 6月前   最后更新时间: 6月前   游览量:4229
上一条: Kafka Streams开发者指南
下一条: kafka broker配置(0.10版)
评论…

  • 奥迪
    大神,问个问题:
    我要做一个监控系统,包含大量的shell监控脚本,每个脚本负责各自的监控任务。大量脚本并发执行,我想使用kafka作为脚本的缓存。遇到的问题是kafka没有专门针对shell的client,调用Java client性能很不理想。大神有没有什么好的办法解决呢?
    归结为一句话就是:如何在多个并发的shell里使用kafka生产消息,请大神指点一二,谢谢~
    大神,能否推荐一个高并发性能的rest api方案?只使用该rest api生产消息
    我想在shell里面调kafka的rest api,不知道是否可行?
  • 评论…
    • in this conversation
      提问