前提:kafka只有一个分区 问题1:用消费者组先消费主题A,之后消费主题B,消费的主题A的数据有重复(操作:用消费组consumer1去指定消费主题A中的100w条数据,还没有消费够一百万的时候,用consumer1消费主题B中的数据) 问题2:消费者组在再均衡的过程中是不是不能消费到数据,有一个单独的消费者组只消费一个主题的情况下,数据没有消费完但是会一直消费不到数据。 问题3:消费者再均衡所需要的时长与什么有关系,在重平衡期间消费数据是会报错还是读取为空
问题1:消费者没有提交offset,所以会有重复数据,参考:kafka消费者Java客户端
问题2:因为你只有1个分区,何来平衡?
问题3:kafka分配
只有一个分区,那往一个消费者组添加新的消费者,偏移量重置不是因为再平衡导致的吗?
offset是你自己控制提交的,你看看你的提交逻辑是自动提交,还是手动的。
另外,1个分区,只能被一个消费者消费到,另外一个永远拿不到消息。
现在是比如用同一个消费者组用线程A去消费主题A(100w数据),接着用线程B去消费主题B(几万数据),之后线程B的数据能消费到,现在A的数据有部分消费了两次有部分三次,难道不是因为线程B开始的时候加入了新的消费者的再平衡,消费完之后消费者死亡又一次再平衡导致的两次偏移量重置嘛?
消费者组名虽然相同,但是消费的主题不同,之间就没有关系。定位你的程序问题吧。
好的,再研究一下
你的答案