kafka滚动重启几台broker后,某些消费者换group才能消费

人间不值得 发表于: 2020-09-17   最后更新时间: 2020-09-18 00:41:36   4,188 游览

重启了一个集群的部分broker后,部分消费者报错:

kafka server: Request was for a consumer group that is not coordinated by this broker. groupID=XXXXX

同时伴随着reblance的报错。

broker版本是0.10.2.1

这个问题遇到过多次了,尝试过再次重启、迁移主从,虽然更换group后可以正常消费,换group会重复消费大量数据,想知道有没有能让原group恢复消费的方法

发表于 2020-09-17
添加评论

kafka的消费者offset在__consumer_offsets主题上。我怀疑你的副本数,可能只有1个,所以重启的那个节点上影响了它。

__consumer_offsets 这个topic的副本数是3个,无法消费的topic的分片数也是3个

有更多的信息吗,比如消费者影响的时长,和各个topic的副本的状态。

有的集群的group在若干小时后可自行恢复正常消费;有一个19broker的集群的group,好几个月了还是不能消费。在重启完之后,topic的副本状态正常,没有不在同步状态的副本

-1的么,就会造成你这样的现象,影响该分区的所有消费者。

没有leader为-1的

你的答案

查看kafka相关的其他问题或提一个您自己的问题