我想用java获取所有消费者组list以及消费的topic的offset,logsize等信息,kafka版本是0.10,Adminclient获取不到数据 只支持到v1,想问下还有哪种办法可以获取?

zl 发表于: 2018-10-29   最后更新时间: 2018-10-29 17:03:07   5,793 游览
发表于 2018-10-29
zl
添加评论

logsize 和logEndOffset用JMX都能拿到 消费组list还是可以用adminclient获取的 client.listAllGroupsFlattened()

大佬~问题怎么解决的?求转发

zl -> 怪叔叔。 5年前

我一开始是拿到了所有的消费者组,然后新建了一个消费者去消费consumer_offsets,虽然能获取到所有东西但是发现数据量过大的情况下,遍历是不现实的 最后采用了jmx的方式去获取消费者偏移量,这种方式在kafka实战那本书中有些

zl -> 怪叔叔。 5年前

也可是采用java执行kafka 自带脚本的方式去拿这些数据,然后处理数据 也挺快的

他说的那两种方法都可以,我在项目中采用的时第二种,java调用kafka支持的API进行调用,获取kafka的各种状态来显示。

java调用kafka支持的API进行调用,获取kafka的各种状态来显示,这个有没有demo参考一下?648986225@qq.com

我用0.10.1.1的kafka,然后adminclient获取不到offset,用kafkacomsumer获取不到partition。。。

怪叔叔。 -> zl 5年前

大佬~java执行kafka 自带脚本的可以发给我参考一下吗?

怪叔叔。 -> zl 5年前

consumer_offsets返回的key/value怎么解析的?

zl -> 怪叔叔。 5年前

./bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 -list
./bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group console-consumer-69776 --describe
./bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic zll-topic --group console-consumer-69776 --zookeeper 127.0.0.1:2181

zl -> 怪叔叔。 5年前

不建议去解析consumer_offsets 解析的话会新建consumer 会造成kafka不断 rebalance 还是看下书kafka 实战 然后用jmx吧

怪叔叔。 -> zl 5年前

执行脚本报错org/apache/kafka/common/protocol/SecurityProtocol;这个和jar包没关系吧,你那边java怎么去执行命令的?

zl -> 怪叔叔。 5年前

我的正常执行,你可以检查一下hosts,jdk环境变量 消费者组参数是否正确 第二个和第三个命令结果是一样的

怪叔叔。 -> zl 5年前

我这个代码不在kafka那台机上运行,怎么去执行这个脚本呢?

zl -> 怪叔叔。 5年前

本机不需要有kafka运行 本机有kafka的那些脚本和依赖lib就行 把ip换成运行的kafka的ip就可以

怪叔叔。 -> zl 5年前

我通过zk获取到了这些信息,但是从zk获取的groupid和我实际的groupid怎么对应?百度说一个是low level一个是high level的

AdminClient已经不太支持了,你可以试试KafkaConsumer,这个类,如果很急的话,可以给我一个邮箱,我可以把我写的代码,给你参考一下

zl -> 烟花易冷 6年前

291928588@qq.com  确实很急  adminClient不好用

烟花易冷 -> zl 6年前

现在就要嘛?

zl -> 烟花易冷 6年前

晚上发给我就行 我今晚加班  多谢好汉!

烟花易冷 -> zl 6年前

这样子呀,那我看看一会给你写一个吧,我还没下班,下班回家就得八九点了

zl -> 烟花易冷 6年前

好 十分感谢 我找了好久了 相关资料不是很多 

烟花易冷 -> zl 6年前

稍等会呀,我得写几分钟

发你QQ上了,你可以看看,那个查询所有的消费者组,没写,我记得AdminClient中的那个方法,应该可以,

半兽人 -> 烟花易冷 6年前

好汉 分享一下,让大家都能看到。

Adminclient获取不到数据 只支持到v1,想问下还有哪种办法可以获取?

你好,我也遇到了这个问题。那个java调用kafka 自带脚本的代码 可以发我邮箱吗hp957660233@foxmail.com。万分感谢!

请问,用这个命令bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server A5-401-NF5280M4-2017-141:9092 --list 查询不到消费者组怎么办?

你的答案

查看kafka相关的其他问题或提一个您自己的问题