kafka消费的时候再均衡导致的问题

发表于: 2022-02-22   最后更新时间: 2022-02-22 13:31:01   1,043 游览

前提:kafka只有一个分区

问题1:用消费者组先消费主题A,之后消费主题B,消费的主题A的数据有重复(操作:用消费组consumer1去指定消费主题A中的100w条数据,还没有消费够一百万的时候,用consumer1消费主题B中的数据)

问题2:消费者组在再均衡的过程中是不是不能消费到数据,有一个单独的消费者组只消费一个主题的情况下,数据没有消费完但是会一直消费不到数据。

问题3:消费者再均衡所需要的时长与什么有关系,在重平衡期间消费数据是会报错还是读取为空

发表于 2022-02-22
添加评论

问题1:消费者没有提交offset,所以会有重复数据,参考:kafka消费者Java客户端

问题2:因为你只有1个分区,何来平衡?

问题3:kafka分配

-> 半兽人 2年前

只有一个分区,那往一个消费者组添加新的消费者,偏移量重置不是因为再平衡导致的吗?

半兽人 -> 2年前

offset是你自己控制提交的,你看看你的提交逻辑是自动提交,还是手动的。

另外,1个分区,只能被一个消费者消费到,另外一个永远拿不到消息。

-> 半兽人 2年前

现在是比如用同一个消费者组用线程A去消费主题A(100w数据),接着用线程B去消费主题B(几万数据),之后线程B的数据能消费到,现在A的数据有部分消费了两次有部分三次,难道不是因为线程B开始的时候加入了新的消费者的再平衡,消费完之后消费者死亡又一次再平衡导致的两次偏移量重置嘛?

半兽人 -> 2年前

消费者组名虽然相同,但是消费的主题不同,之间就没有关系。定位你的程序问题吧。

-> 半兽人 2年前

好的,再研究一下

你的答案

查看kafka相关的其他问题或提一个您自己的问题