使用的kafka版本是0.9。docker环境下,当负载高的时候,服务会自动扩容,量下来之后,会自动缩容。在缩容的时候会出现某一个分区不消费的情况,重启服务之后偶尔还是会出现另一个分区不消费的情况,每次不消费的分区不一样。poll的时候没有拉到这个分区的数据。消息堆积并不是每次扩容都必现的,请教下有什么原因会导致这种场景。
docker扩缩容是不是针对消费者组的?不是kafka集群吧
扩容就是增加了新的消费者,看了片帖子说可能是因为在poll的时候过程中发生重平衡,因为缓存原因,导致“part.fetchOffset != consumed”。原文在这里:https://issues.apache.org/jira/browse/KAFKA-2978
一直不消费,还是等待时间长一点,才开始消费。
是一直不消费,这好像是0.9.0.0的一个bug
换个新版本试试吧,如果不能复现,升版本吧
嗯嗯,好的,谢谢了
你的答案