kafka新建topic无法使用新的group消费

守护轻鸟 发表于: 2018-01-18   最后更新时间: 2018-01-18 14:48:43   11,443 游览

我的consumer在新建一个新的topic和groupid后无法接收到客户端发送的消息,这个问题只会在新建topic并且使用新的gropid时才会复现。
比方说:原本我有一个topic=test、groupid=test-group-id,这个topic和groupid可以正常接收消息。
但是我新建一个topic=test2、groupid=test2-group-id时就无法接收到消息。
紧接着我把配置文件调整成topic=test2、groupid=test-group-id时就能正常接收到消息了。
也就是说我新建topic没问题,但是groupid还得用原来的才能正常消息,请问有人遇到过这种问题吗?

发表于 2018-01-18
添加评论

这俩命令执行下,看看是否正常。

## 新消费者列表查询(支持0.9版本+)
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list
## 显示某个消费组的消费详情(仅支持offset存储在zookeeper上的)
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zkconnect localhost:2181 --group test
守护轻鸟 -> 半兽人 6年前
root@qdjc-zbjg3:/usr/local/kafka_2.12-0.11.0.1# bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 172.16.37.70:9092 --describe --group ctsv-compress-group-id
Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).

Error: Executing consumer group command failed due to The consumer group command timed out while waiting for group to initialize: 
root@qdjc-zbjg3:/usr/local/kafka_2.12-0.11.0.1# bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group ctsv-comress-group-id
Note: This will only show information about consumers that use ZooKeeper (not those using the Java consumer API).

Error: The consumer group 'ctsv-comress-group-id' does not exist.

想问下,问题解决了么,我也遇到了同样的问题

半兽人 -> 冷暖自知 4年前

我感觉zk里有脏数据,引起的。清理一下试试。

你的答案

查看kafka相关的其他问题或提一个您自己的问题