kafka某个分区不消费

厚德载物 发表于: 2020-06-04   最后更新时间: 2020-06-04 18:45:30   2,956 游览

使用的kafka版本是0.9。docker环境下,当负载高的时候,服务会自动扩容,量下来之后,会自动缩容。在缩容的时候会出现某一个分区不消费的情况,重启服务之后偶尔还是会出现另一个分区不消费的情况,每次不消费的分区不一样。poll的时候没有拉到这个分区的数据。消息堆积并不是每次扩容都必现的,请教下有什么原因会导致这种场景。

发表于 2020-06-04
添加评论

docker扩缩容是不是针对消费者组的?不是kafka集群吧

厚德载物 -> 半兽人 4年前

扩容就是增加了新的消费者,看了片帖子说可能是因为在poll的时候过程中发生重平衡,因为缓存原因,导致“part.fetchOffset != consumed”。原文在这里:https://issues.apache.org/jira/browse/KAFKA-2978

半兽人 -> 厚德载物 4年前

一直不消费,还是等待时间长一点,才开始消费。

厚德载物 -> 半兽人 4年前

是一直不消费,这好像是0.9.0.0的一个bug

半兽人 -> 厚德载物 4年前

换个新版本试试吧,如果不能复现,升版本吧

厚德载物 -> 半兽人 4年前

嗯嗯,好的,谢谢了

你的答案

查看kafka相关的其他问题或提一个您自己的问题